薄くても化粧をしたのであればクレンジングを使う方が良いと思います。
化粧料は汗で流れたと思っても落としきれていないこともあります。

化粧品は油分で出来ていることもあり、水には溶にくいです。
酸化した古い油が肌に残って肌荒れなどが起きることもあるので、肌にとって汚れになりそうなものは落としきった方が良いと思います。

洗顔のしすぎが良くないのは、擦りすぎたり、洗顔料やクレンジングの成分が強すぎたり、肌に合わなかったりするためだと思うので、ご心配なら洗顔(またはクレンジング)する度に保湿ケアをしっかりすれば良いだけだと思います。

私の場合、洗顔料を使うのは朝晩の2回、顔の汗を流したいだけなら(ノーメイクの状態に限りですが)ぬるま湯洗いを何度か(多くて2、3回ぐらい)することもあります。
その度に化粧水でケアをするようにはしています。

肌を清潔に健やかに保つことが洗顔やスキンケアの目的であり、そのために1日に何回洗顔が必要かというのも人それぞれその日によって違ってくると思います。
ご自分に合った方法でケアをすれば良いと私は思います。