不倫も仕事もやめた方が質問主様も苦しくないと思います。

ご家庭があるのは相手の方でしょうか。
私の知人に、父親が同じ方と不倫関係を長く続けていてそのことを知っている方がいますが「父親が不倫なんかしてなかったら、自分はもっと普通に育っていたかもしれない。」とこぼしていました。
もしも相手の方や質問主様に家庭があってお子さんがいた場合
不倫という行為は一歩間違えればなんの罪もない一人の人生・人格をお相手とあなたの関係のせいで歪めその歪みを一生かかえて生きていかせることになるかもしれない行為であることを忘れないでください。

とはいえ、私はお相手に家庭があるならば一番責任をとるべきはお相手だと思います。そもそも不倫に至るのは家庭をもつ側の人間の節度の問題です。
それなのに相手側はしらんぷりしてキャリアを重ねられるというのは不条理を感じてしまいます。
酔った勢いで話してしまったというのは質問主様の過ちではありますが、質問主様のなかで一人で抱え込みがたいものがあったからだと思います。

質問主様がお仕事も関係も清算されて、新天地でのびのびとすごされることをお祈りします。

不躾な点もあるかと思いますが、以上が率直な感想です。
失礼いたしました。