Бесит ребенок МЧ от первого брака. Кто сталкивался с таким, чем закончилось?

В отношениях уже год. Живем пока что отдельно. Познакомились когда был уже в разводе. Есть ребенок от первого брака, ребенку 8 лет. МЧ меня очень любит, хочет жить вместе, хочет со мной общих детей и семью. Видится с ребёнком раза 4-5 в месяц, иногда реже, гуляет с ребенком, приводит ребёнка домой. У его ребенка аллергия на шерсть животных. Первое : У меня кошка и маленькая собачка. Сказал переезжать к нему без животных так как у его ребенка аллергия на их шерсть и он тогда не сможет приводить ребенка домой если я перееду с животными. Второе : мне иногда приходится пересекаться и проводить время вместе с ним и его ребенком, ребенок часто начинает рассказывать что за меня говорит его мама , эта мама меня никогда не видела но говорит и внушает в голову ребенку плохие мысли обо мне. Может ревность у тети проявляется. Каждый раз один и тот же бред.
МЧ прям души не чает в этом ребенке. Постоянно разговоры о нем, что он говорит, что он в садике любит и т. д. Меня дико раздражают уже эти разговоры. Вместо того что бы провести время вдвоем он берет своего ребенка. А я не хочу этого, потому что я хочу делать то что при детях не делают. Я хочу проводить время без его детей. Уже прям до роздражения доходит.
У нас начинаються скандалы из за частого присутствия его прошлой семьи в нашей жизни, а я хочу свою семью и свой мир где их нету. Я не собираюсь отказываться от своих животных из за того что у его ребенка на их будет аллергия, этот ребёнок не живет с ним в одной квартире. Почему я должна жертвовать своим комфортом и тем что я хочу из за его ребенка который с ним не живет, почему я должна отказаться из за этого ребенка от своих животных которые со мной один 10 лет, второй 5 лет. Ну неужели я должна ущемить себя из за потребности чужих детей. Кто с таким сталкивался? Или кто что может посоветовать! Хочу быть с этим человеком, но не могу принять прошлую семью.