別れるべきですね
私なら別れます

『子どもたちも死んだようなものだ』
『1番がいなくなったからあなたは繰り上げ当選だね』
この時点で、そのバツイチ彼の人間性を疑いました
ものすごく最低で失礼な言葉です
人を大切にしない、自己中心人間だと思いました

離婚してからも、元奥さんと養育費のことで揉めているという点に、後始末の悪さを感じました。

大好きな娘さんからもらったものも外し、元奥さんの連絡先も本名から『前妻』と変更し、着信拒否していた。
それが、元奥さんのスマホの名前を本名に戻し、娘さんからもらったものも身につけるようになった。
この点は、浮き草のようにフラフラしていて、感情的で気分屋で流されやすく、芯や軸がない面を感じました。

恋人であれ家族であれ友人であれ、
こういう人と一緒にいると、次第に自己肯定感や自尊心が傷つき、常に不安がつきまといます

本当に質問者様のことを大切に思っていれば、あんな失礼で自尊心を踏みにじる言葉は言わないし、慰謝料のことをきちんと解決してから離婚するはずです
今ここで、モヤモヤして、関係を続けることに不安や迷いを感じていることがチャンスです
いい思い出も幸せなこともあったでしょうから、別れはつらいけれど、幸せになるために、質問者様のことを本当に大切にしてくれる男性と巡り会うために勇気を出してください