アトピー持ちです。
私の場合ですが。

まずオイルクレンジングは、絶対に乾燥します。
洗顔後バッキバキになりますよね。
どのメーカーのものでも、オイクレは乾燥がきつくなります。
汚れ落ちはいいんですけどね。
（ファンケルのマイルドクレンジング、私も以前使っていました。）

一方ミルクはメイクが落ちません。
そのうえ摩擦も気になります。
さる皮膚科の先生が、『ミルククレンジングって肌に優しそうな言葉でしょ？それって言葉だけ。界面活性剤がたっぷり含まれているのはオイルと変わらないし、汚れも浮かない。おまけにこすっちゃうでしょう。オイル以上にいいとこないのよ』
というのを聞いて使うのをやめました。

拭き取るタイプは、使えば使うほど肌が荒れます。
これは言うまでもありませんね。

クリームクレンジングは、今のところいいものに出会っていません。
拭き取ってから石鹸で洗顔しても、肌に油膜感が残っています。
数日すると刺激を感じるようになったり、吹き出物が出やすくなったりしますね。

オリブ油などの100％オイルはクレンジングでも保湿でも肌に合いません。必ず痒くなります。
特にアトピーはオイルが合う人と合わない人がいます。
私は合わないほうですね。
唯一使えるオイルが馬油(かなり少量に限って）なのですが、馬油は浸透がすごくいいのでクレンジングには使えないとのこと。

で、結局なに使ってんの？
ですよね。
今はキュレルのメイク落としを使っています。
無香料です。
ドラッグストアの敏感肌コーナーなどにあります。
テクスチャがちょっと固めですが、刺激はなく、いい感じに使えています。
メイク落ちに関しては、オイルよりかなり劣ると思います。
なのでＷ洗顔しています。

ジェルタイプのクレンジングでも、
「これってほぼオイルじゃ？」
ってのがあったりもするんですが、キュレルに関しては刺激も乾燥も気になりません。
1050円で、お求めやすいです。
よかったら使ってみてはいかがでしょうか？

長くなりましたが参考まで。