Як реагувати на колишню чоловіка?

Зустрічаюсь з чоловіком, він був в шлюбі 12 років, має двох дітей. Я теж маю дитину від першого шлюбу.
Познайомились ми з ним, коли він вже був в процесі розлучення, на весіллі у нашого спільного знайомого і просто до бавились один до одного в ФБ. Зараз розведений. Спілкуватися почали не відразу, а через 6 місяців після знайомства.
З його дітьми я ще не була знайома, бо вважаю що зарано, разом ми вже майже 6 місяців, до цього просто 3 місяці зустрічалися періодично. Він з моєю дитиною теж офіційно не був не знайомий, але я дитині сказала, що в мене ж чоловік, який мені подобається і якщо я зрозумію, що в нас дійсно все серйозно, то тоді їх познайомлю.
І от чоловік дуже просить мене переїхали жити до нього, разом з дитиною, дитині 12 років. Я вагаюся, бо для мене все якось зарано, хоча у нас все добре, але він хоче жити разом, а не просто зустрічатися щоб побачитися.
Про це він повідомив свою дружину і дітей.
Хоча мабуть повинен був порадитись, щоб спочатку познайомитись з ними, а потім вже казати про те, що з ним будемо ми жити.
Спочатку познайомились з моєю дитиною, хоча він дуже нервував, але все пройшло ок. І запланували знайомство з його дітьми.
І тут почалося.
Його колишня просто почала маніпулювати дітьми, то вона їх пускає на зустріч, то ні. Привезла, сіла за сусіднім столиком, коли я спробувала долити сок дитині, вона підійшла, забрала дитину.
Якась дикість.
Зараз плануємо поїхати відпочити, він хоче взяти старшу дитину з собою, дитина хоче, але мама не відпускає. Причому він будучи в шлюбі дуже багато уваги приділяв дітям і залишився з ними і чудових відносинах. Вона каже, що може їхати, але без мене і моєї дитини, бо вона проти, щоб ми їхали разом.
Я б ще розуміла, якби я була причиною розлучення, але ж я не маю до розлучення жодного відношення.
Чоловік каже, що тоді зовсім не поїдемо нікуди, але ж то маніпуляції і вплинути на це він поки не може, бо домовитись не можливо, вона не чує нічого.
Я не вмішуюсь і намагаюсь не реагувати на все це, але мене ситуація засмучує і я не знаю як я правильно повинна діяти.
Може хтось був в схожій ситуації, що порадите робити?