Ситуация с мужчиной. Что делать?

Девочки, помогите советом. Ситуация очень глупая и неприятная. Но видимо на тот момент я не могла думать разумно...Очень нравился коллега по работе и случилось так, что он начал со мной флиртовать, заигрывать и в итоге у нас был интим (я замужем, но отношения с мужем никакие). Вот и повелась на него и влюбилась...После того, он общался нейтрально, я вызывала его на разговоры, пыталась сказать, что "это отношения только для секса" и я ничего от него более не требую. Однажды он снова позвонил, но я отказала, так как в тот день не могла встретиться. И после этого всё...он всё-время отнекивается, типа "занят", а в последнее время вообще ведёт себя так "поздороваться" и всё...Вообщем дал понять... Я понимаю, что ему ничего не надо, но всё же обидно. Как себя вести? Вообще с ним не общаться??? Или пытаться наладить отношения? (не люблю когда с кем-то вражда)...Он в разводе, и по его рассказам "девушки ему нужны только для секса"...Хотя я уверена, что он выбирает себе пару...