Что мне делать с этими отношениями

Изначально мужчина не нравился, внешне не мой типаж. Да и вообще отношений не хотелось, но временами накрывало от отсутствия секса. Поэтому предложила ему формат "только секс без обязательств", на что он сдержанно сказал, все будет, как ты захочешь.
В итоге он мне говорит, что ничего ни к кому подобного не испытывал с момента развода. А жену свою очень любил и долго отходил после развода. Сегодня при мне звонил ему друг, у них мужским коллективом были запланированы шашлыки, слышу тот спрашивает "ты с подругой, бери ее с собой". Т.е. он уже обо мне рассказал друзьям. Я не поехала. Хотя он снова заехал за мной, после того, как уехал к ним, сказал, что меня там все ждут. А вечером под алгоколем его прорвало. Говорил, что никто ему больше не нужен, я его устраиваю полностью, готов со мной прожить остаток жизни, боится меня потерять...
Это при том, что вначале сам говорил, что боится привязанности и влюбленности. Он неплохой человек, я не хочу ему делать больно. Мы с ним занимаемся не сексом, а любовью, я не готова терять те ощущения, что испытываю с ним. Но чувств к нему нет совсем