相手が笑う程度の怒り口調と叩くであれば、本気に感じない程度なので、気に病むほどでは無いと思います。たぶん、お子さんは本当に遊びでやってると思ってると思います。ママが遊んでくれて嬉しい！みたいな？
ただ、相手に伝わってないですよね。叩くのが絶対駄目だとは思いませんが、相手に伝わらないのに、自分の心ばかりすり減る伝え方は、辛いばかりで身にならないですね。
優しく許してる時があるから、お子さんは○○しても大丈夫。と学習してしまってる可能性もあります。駄目なものはどんな時でも駄目。と許さない事も教育として大切です。子供は親の気持ちに敏感なので、こうすれば許してくれる、許してくれるなら、もうちょっとやっても良いよね。と悪い学習もしてしまいます。

取り敢えず、心の余裕を出すには、自分時間を設けるのが一番だと思います。お金を払って子供を預けて時間を手に入れるって、美容やダイエットのためにインストラクターに頼んだり美容液買ったりするのと変わりません。時間を買ってるだけです。我慢せず時間を買いましょう。
このイライラは向き合うべきじゃないイライラだと思います。今だけなら、アンガーマネジメントするべきですが、子供が大人になるまであと数十年です。貯め込んで自分の中で処理せず、素直にガス抜きした方が効率が良いです。子供と離れて自分時間を持って、ゆっくり休んでください。