Права/ не права??

Съехались жить с МЧ (в мою квартиру), по его словам начать жить вместе, это очень серьёзно и равносильно -жениться. От первого брака есть сын (4года), живет с матерью. Естественно я не против общения с ребёнком, финансовых затрат, связанным с его воспитанием и тд. Мы решили, что по субботам он видится с ребёнком, а воскресенье- наш совместный с мч выходной, так как в течение рабочей недели мы общаемся несколько часов после работы перед сном. Вроде справедливо? И новая семья довольна, и ребёнку уделяется время. Но тут бывшая жена начала постоянно просить забрать ребёнка с ночёвкой, чтобы она могла гулять/отдыхать/устраивать личную жизнь и тд. Ребёнок оставался уже несколько раз с ночевкой у нас и это для меня просто каторга,начиная с его невоспитанности и балованного повеления и заканчивая тем,что всю ночь он ворочается, скрипит зубами и не даёт мне спать. В итоге я сказала, что согласна на ночёвки раз в месяц. Остальные его встречи,конечно же, в силе. Жене понравилось и теперь она каждые выходные просит его забрать, мой МЧ обижается и не понимает, почему я не хочу ночевать с его ребёнком. А я не понимаю, почему я вообще должна заморачиваться проблемами с личной жизнью его бывшей жены, его ребёнком и тд. Не понимаю как быть. Вроде и по-человечески надо поступить, знала же ,что ребёнок есть и никуда от него не деться, но и в то же время я свою семью хочу строить, а не устраивать комфорт его бывшей жене. Девочки, кто был в такой ситуации? Как правильно поступить? Ругаемся из-за этого.