Жалко бросить мужа... Как поступить?

Живем 5 лет. Детей нет. Мне 26, ему 36. Оба, сейчас, хорошо зарабатываем. На все хватает. Когда все было плохо - была нормальная семья. Когда с финансами наладилось, пришла беда - я днями на работе и ночами тоже, он в постоянных командировках.
Однажды мне позвонила моя бывшая любовь, еще до мужа встречались. С того дня мы с ним периодически встречаемся. У него тоже есть семья, но он такой что гулял и гулять будет - сам говорит, а я не знаю зачем с ним встречаюсь, когда то сильно любила, сейчас просто что бы развлечься. Да и робота у меня такая что в основном мужчины. Вниманием балуют, муж психует когда кто то поздно по работе звонит.
И вы знаете, может я мужа и не люблю но как человека уважаю. Знаю что изменяя ему поступаю некрасиво. Но если чесно, узнала бы что и он так делает просто бы разошлись. А так вроде и вместе а живем своими жизнями..
Вот как быть?? Я не могу его бросить, вот пишу вспоминаю сейчас как классно мы с ним проводили время, каким он заботливым был. Я боюсь ранить его, для него это будет нож в спину, но и жить так дальше не могу. Если все узнает сам будет еще хуже.