化粧していないのであればクレンジングの必要はないかと思います。
もしも冷え性であれば、お顔の血行も良くない可能性もあります。週に数回であればクリームタイプのものでマッサージをしながらクレンジングをすると血行が促され、新陳代謝を促進しお肌の健康状態もよくなるかもしれません。
ですが、クレンジングでなくてもマッサージクリームはあるのでそちらを使っても良いです。

あとは水温は熱くないか。手で少し冷たいと感じるくらいでいいそうです。
入浴の際に洗顔を済ませている場合、顔に直接シャワーを当てていないか。シャワーの水圧もお肌には刺激になります。
ゴシゴシと洗顔していないか。きちんと泡だてて、顔の上で泡を滑らせるように優しく洗うと良いです。

もし上記に思い当たる点があれば、そこから改善してみてはどうでしょうか？