Вы верно рассуждаете, действительно не должно. Это говорит о вашей низкой самооценке и комплексах, которые тянутся из детства. Для начала я бы вам рекомендовала почитать статью о том как говорить "нет"
https://wikigrowth.ru/razvitie/kak-n...a-govorit-net/ затем начать практиковаться. К примеру в магазинах когда вам навязывают товар или услугу, а затем уже и в обычной жизнь. Поймите одно, "нет" вы имеете право говорить так же как "да", но после положительного ответа вас же совесть не мучает