Перестать надеяться, что что-то поменяется. Ему так удобно, и с женой и с вами получает то, что не получает с ней. Если бы что-то серьезное планировал с вами, уже бы сделал этот шаг. 
А вы со своей стороны, откликаясь, даете понять, что вас это тоже устраивает.
Если вам нравится всегда быть на вторых ролях запасной- продолжайте сидеть и ждать.
Если хотите построить нормальные счастливые отношения, уходите из этих и прекратите общаться. Не закрывается старое- новое не начнете. 
Чтобы быстрее забыть- вспоминайте о плохих моментах, а не хороших.
Если есть сильные дискомфортные чувства, связанные с этими отношениями и хочется быстрее от них избавиться, можно провести несколько сеансов терапии, вам будет легче его отпустить и забыть.