端的に言えば
「落ちるメイクは落とせるが、落ちないメイクは落とせない」です。

落ちるか落ちないかは目では確かめられません。
なお、落ちないメイクであっても見た目的には「メイクが落ちた」ように見えますが、目には見えないレベルでは落ちていません。
どのような成分が入っているかによりますので、質問者さんのメイクアイテム次第です。
油で落とせるのは完全なミネラルファンデ（なんちゃってもありますから）、オーガニックコスメくらいじゃないでしょうか。
シリコーン類が入っているメイクは化学物質入りのクレンジングでないと落ちないと覚えていた方がわかりやすいかも（中には揮発性が高く落ちる物もありますがいちいち覚えてられないと思うので）。
ＤＳやデパートで売っているようなメイクアイテムはほぼ全てポリマー類が入っているのでクレンジングを使わないと落とせません。

クレンジングは合成界面活性剤が入っているので、クレンジングよりもただの油の方がむしろ肌に負担はかかりません。