Как правильно отказать гостям

Скажу сразу: я человек активный, есть своя семья, работа у меня по вызову (то есть я могу в будний день работать например 2-4 часа, но в выходные весь день).
На "нормальный график" я выйти пока не могу - маленький ребенок, оставлять его не с кем, а в садик ходит раз в месяц, потом болеет... На 2-3 часа беру няню в рабочие дни, в выходные - муж.
Проблема в том, что в последнее время зачастили гости-родственники.
Причем им непременно нужно прийти только в выходные. И если бы они забежали на полчасика на кофе - так нет же, они сидят ЧАСАМИ, ни фига не делая и разговаривая о всякой ерунде. Моя работа для них - это такое, хобби, которое я могу отложить на день-другой. То, что у нас с мужем могли быть свои планы на выходные - это вообще не принимается во внимание.
Мои обьяснения, что мне это не удобно - они игнорируют! Бабушка начинает каждый день обрывать телефон, что я не подпускаю ее к внуку, хотя до этого 4 года она вообще ребенка не знала и не приходила, ссылаясь что ей тяжело, далеко добираться, некогда, и тут вдруг проснулась...
В эти выходные несмотря на мой отказ, все равно пришли гости. Меня не было, весь день они просидели с мужем и малым, думала может уйдут до моего прихода - так нет же, прихожу - сидят, говорят а чего ты так долго. Я еще выслушала претензии, что задержалась, и что их никто не накормил (они весь день провели на одном чае). Ушли злые и голодные (простите, но я весь день тоже проскакала и меня никто не кормил).
Честно говоря, я не понимаю, что это за хождение в выходные по гостям, хочешь узнать как дела - ну пересекись в кафе с человеком или по телефону поговори...