Муж говорит что я держу его возле своей юбки. Отпустить?

Детей нет. Живём 6 лет. Живём в небольшом городе, работы нет. Приходится ездить на зароботки, как делают многие, в нашей стране. Ездили с ним несколько раз, первый раз на 5 мес, второй на 7 мес. Мне тяжело там, работа по 12 ч, толком не успеваешь отдохнуть перед каждой сменой. Мы работали с ним на одном предприятии, но у него работа не такая нервная, нормы как таковой нет. В общем легче ему чем мне.
Но после последнего раза, у меня начались проблемы с ЖКТ, пошёл сбой по гормона, сейчас дома пытаюсь найти причину, и лечусь.
Суть в чем, если ему искать более высокооплачиваемую работу, то это уже будет без меня, то есть или там мы будем раздельно работать, или я останусь на Украине, я не соглашалась на этот вариант, я хочу чтоб мы были вместе, как нормальная семья. Но я вижу и чувствую что ему надоело со мной возиться, он хочет поехать, найти там нормальную работу, чтоб платили больше, но тогда я останусь здесь одна, пока он будет там работать. Я боюсь и мне страшно.
Во время ссор, он кидает такие фразы, типа: держись меня возле своей сиськи, или юбки. Как я могу найти что то лучше и все в этом роде.. Как набраться смелости и сказать ему: вперёд? Раз так надоело быть возле моей сиськи, мне обидны такие заявления.
У меня и здесь нет нормальной работы, и там тяжело. А он только о себе думает