Разорвать отношения?

Такая ситуация: отношения с мужчиной 3 года. У меня уже был брак, познакомились, когда проходила сложный процесс (16 заседаний было итого), в том числе и по ребенку. Он меня очень поддерживал и помогал, устраивал встречи с адвокатами. Любовь, морковь и все такое. Но, для меня эти отношения были неожиданными, и первые 1,5 года я просто изводила его: от каждого мин негатива сразу разрывала отношения. А по факту, просто испытывала человека на прочность, о чем сейчас очень сожалею. Но, через 1,5 -2 года начали жить вместе и жили год. Но, он так и не развелся, хоть не живет с женой 5 лет. В начале наших отношений он ей все рассказал (при мне, так что я точно знаю) и уже был у адвоката. Потом мы очень сильно поссорились и прозвучала такая фраза - я это (развод) делаю для тебя, а с такими отношениями, котрые могут закончится в любой момент, не знаю, зачем мне этот геммор. Сразу перескачу в конец - месяц назад мы ооочень сильно поссорились и расстались, как я думала. Ноо, он опять начал писать и я сказала, что буду с ним говорить только у психолога. Пошли к психологу и прозвучала такая фраза - что он не разводился просто по 1 причине - не знал, хочет ли быть со мной. И у меня как пелена с глаз ушла, я много чего осознала в своем отношении к нему. Он для меня был как Бог до этого и просто не существовало никаких недостатоков в нем. И моя любовь к нему уже была не любовь, а какая-то зависимость.
После психолога он начал пытаться опять строить отношения, мы поговорили и я сказала, что теперь всегда буду говорить все, что мне не нравится и отношений с женатым по факту человеком не хочу. Договорились идти постепенно. Но, тут уже опять накрывает, он и отпуск совместный планирует и все все все, а у меня уже нет такого восторга.... Я не могу простить себе, что "ждала" чего-то 3 года и не осозновала, что просто повесилась на него вся, не могла даже день без него.
Теперь резко попустило. И психолог очень помогла, книжки такие правильные попались. Самооценка как-то возросла и сегодня сказала, что мне не комфортны такие отношения, не хочу. Он сказал, что будет ждать, когда я захочу написать, позвонить, мол не будет давить и всякое такое. И вот я не знаю, может надо просто жить в свое удовольствие, если с чкловеком хорошо? А, как настанет какой-то момент, когда прям будет сложность, тогда уже и поставить перед фактом?
Может, я сильно быстро хочу изменений от человека? Мы же только месяц, как начали все заново.
После