Ситуация с мужем, его друзьями и мной - рассудите пожалуйста

В общем, история такая, что мы с мужем в браке 3 года. С его друзьями у меня отношения не сложились, так как многие дружат с бывшей мужа. Мужу 48 лет, друзья давние, с детства. Мне 35.
Живем мы с друзьями в разных странах, некоторые в нашей стране (не Украина). Сначала мы встретились с первой парой и она мне говорила, что мой муж и бывшая со стороны выглядят как пара. Муж отшутился и замечания не сделал. Потом к нам приезжал его друг, оказалось, что он дружит с бывшей, летает к ней в гости и так далее. Муж в разводе 10 лет, но общаются из-за детей и бывшая, при наличии своего гостевого брака, делала все, чтобы мы не сошлись. Муж огибал углы "ради детей".
Ну и случилась вишня на торте. Год назад его друг, даже не зная меня лично, а только по рассказам, позволил себе меня оскорбить. Потому что муж ему на меня пожаловался. Дальше этот человек не извинился за год, а вчера муж сказал, что мы идем с их семьей встретиться в ресторан. Я сказала, что не пойду и осталась дома.
Они посидели в ресторане и он мне даже не писал (и я не беспокоила), а это для мужа не обычно, он всегда найдет минуту мне написать.
Муж пришел из ресторана и стал говорить, что его друзья ходят с женами, а он один. Хотя, на самом деле, жены друзей между собой тоже не особо дружат.
Муж стал мне говорить, что я хочу, чтобы он не общался с друзьями и ставлю его перед выбором, что манипулирую.
Говорит, что я запрещаю ему общаться с друзьями и во время нашего брака он стал меньше общаться, а это значит, что я ставлю его перед выбором. А я не ставлю перед выбором, я просто не хочу встречаться с неприятными мне людьми и не хочу переступать через себя. Он может встречаться сколько захочет (хоть да, мне и неприятно, что такая ситуация сложилась, но это не означает, что я имею право запрещать что-то взрослому человеку)
Скажите пожалуйста, как это выглядит со стороны и что мне можно посоветовать?
Мужа я люблю, но каждый раз испытываю разочарование от таких ситуаций и просто хочу собрать вещи и уйти. Я думаю, что дружить с таким человеком прекрасно, а вот быть замужем - очень сложно.