質問主さんなりにいろいろ悩んで決められたんだなぁと伝わってきました。ここまでたくさん頑張って来られたんじゃないでしょうか。

（以外自分語りなので飛ばしていただいても結構です、！）
私の小さいことと比較するのもどうかと思いますが、私もアルバイトですごくしんどい思いをしました。掛け持ちだったのですぐ辞めても大丈夫！と思いましたが、上司の顔や話し方を思い出すだけでしんどくて何度も家で一人泣いたのを覚えています。直談判はしていましたがその際辞めることについて文句を付けられ、恐怖から結局どうしようもなく、社員証と退職願をゆうパケットに入れて送り付けました、、普通に考えたら非常識なのは分かっていましたがこの選択以外にできることは無かったと今でも思います。

質問主さんも、考えに考え抜いた選択かと思いますが、実際に行動に移すとなると難しさが違いますよね、、、自分の選択に自信を持つって私はすごく難しいなと思いますし、自信が無いのに行動に移すのなんてハードルが、、、と思うタイプです。お子さんが好きなぬいぐるみを手に持ったり勇気の出るもの、心がリセットされるようなものを近くに置いてお電話されたりすると少しは良いかもしれません◎上手く言えなかったとしても責められるべきではありませんので、ラフにルーズにいきましょう。
気にしないことは出来ないし悩みは尽きないかもしれませんが、それは自然なことですしどうかご自身を追い込まないよう休み休み過ごされてください。
僅かでもお力になれれば幸いです。応援しています。