しない方がいいです
クレンジングは、紫外線・乾燥と並んで、肌に最も負担をかける要因だと言われています。

例えば、ミネラルファンデーションは元々、ハリウッドセレブ達が休日に肌を休められるようにと作られました。
ミネラルファンデが肌に負担になりにくいのは、あれこれ余計な成分が入っていないのと、クレンジングが不要だからです。

クレンジングの役割は、洗顔料では落とせないメイクの成分（シリコンなど）を落とすことです。
そういった成分が肌に塗られていないのにクレンジングするのは、まったく無意味ですよ。

クレンジング剤のほとんどには、合成ポリマーなどの「しっとりした洗い上がり」を演出する成分が入っています。
そのため、クレンジングした方が肌の状態が良いと勘違いする方もいらっしゃいますが、肌そのものが潤っているわけではないので要注意です。