Как понять

Мы с моей второй половиной живём уже второй год, родилась дочь, есть ребенок от первого брака, ( отношения его к нам хорошее, он не пьет, не врёт) я его очень люблю, то что мы сошлись настояла я, мы встречались, потом разошлись каждый был занят работой, потом я переехала и мы снова начали общаться и так и сошлись, теперь я постоянно думаю а может он меня не любит и если б НК дочь он бы ушёл, вот уже два года он каждое утро идет к родителям, они живут недалеко от нас, ( он так привык посидеть там покурить) уходит на час два а то вообще до после обеда, говорит я так привык, и дома сидеть не буду, я постоянно злюсь пеляю его что так унас семья не сложиться, каждый раз с утра я одна с детьми, постоянно нужно звонить просить его приди помоги, из-за этого стали часто ругаться, дошло то того что я хочу из-за этого разойтись, только не хочу чтоб ребенок страдал, незнаю что делать.