Как ограничить общения ребенка с отцом, чтобы не ломать психику ребенку?

Имею ребенка от бывшего гражданского мужа,отец в свидетельстве не вписан(я мать-одиночка)
Уже 2 года как не живьем вместе,воспитываю и содержу сына сама (сыну 4года) В материальном плане проблем нет, но и бывший на ребенка денег не дает, я все сама.
Я никогда не была против общения ребенка с отцом,но теперь стала очень переживать.
Бывший когда берет ребенка гулять,то может отключить телефон, ну чтобы мне потрепать нервы, и приводит ребенка поздно. Я уже объясняла что я переживаю и так делать нельзя.
Я просто боюсь что он украдет ребенка,ну мало ли что у него в голове.
Когда идем гулять вместе, он начинает мне морали читать, что замуж мне нельзя, что ребенку чужой дядя не нужен,и все при ребенке(((я устала от таких прогулок.
Но сын просится гулять с папой, и понимаю что отказывать плохо,но я очень переживаю.
А в последний раз когда он утром пришел по ребенка,так я целый день не могла дозвонится,он скидывал а потом привел ребенка, а сам был пьян((((
Посоветуйте пожалуйста как правильно поступить.