Мудрые советчицы вправьте мне мозг или нужен взгляд со стороны

Будет много текста. С бывшим мужем прожили пять лет в гражданском браке. Есть ребенок. Все пять лет он ни дня нигде не работал и очень сильно пил. Было все и агрессия, и скандалы. Но обстоятельства складывались так, что уйти не могла или не хотела. Год назад я решилась и уехала с ребенком далеко. Он продолжал пить. Потом его мама купила квартиру в соседнем городе куда я уехала. Приехала сама сюда и забрала его. Он часто приезжал к нам с сыном. Оставался ночевать. Бросил пить. В итоге стал вопрос поиска ему работы и так как ездить от мамы ему далеко и неудобно то он начал практически жить у нас. Сейчас у него есть работа, не очень денежная, но для него это уже прогресс. Живет он у нас. Деньги дает, делает мне подарки не очень дешевые для него и периодически заводит разговор о том, чтобы мы сошлись. О своей любви ко мне, о раскаянии что он творил. А я не могу. Но все вокруг твердят о том, что у нас ребенок, что он исправился, что нужно мне уступить. А я его не люблю. Не представляю нашу жизнь вместе. С ним живем как соседи. Между нами ничего нет.
С одной стороны, понимаю, что он папа ребенка, что он любит меня, и пусть не всегда эта любовь была правильной, но тем не менее. В нем я уверена, что если мы будем вместе, чтобы не случилось, он всегда будет рядом. Плюс как папа, и как муж он отличный, да нытик, но тем не менее. С другой стороны, как забыть все то, что было.
Сейчас встал вопрос о том, чтобы ему менять работу. Я ему сразу сказала, чтобы искал, что-то такое чтобы ездить к маме или снимать квартиру. И вот думаю, может нужно было бы переступить через себя и дать шанс нашим отношениям.