季節によって使い分ける♪
紫外線の強くなる４月～１０月辺りまでは日焼け止めを塗って外出しましょう。
クレンジングよりも紫外線の方が比較にはるかにダメージが大きいです。
ただし、春夏でも外出時間が短い・外出は朝だけもしくは夕方だけとかで日光の下にいる時間が限られているならば、わざわざ日焼け止めをつけなくても物理的なもの（日傘や帽子や長袖等）でカットできますので大丈夫です。
冬場も日焼け止めは塗った方がどちらかといえばベターですが、質問者さんのような心配をお持ちの方は、そこまで日焼け対策に躍起になる必要はありません。

なお、日焼け止めも最近では石鹸で落とせるタイプが増えてきています。
石鹸で落とせると書いてあれば強いクレンジングを使わなくても通常の洗顔やクレンジングで落ちますので、そういった商品を選べば「クレンジングによる負担」は解決すると思います。