ベビーオイルが肌に優しいか否かについては・・・使い方次第でしょう。
何が優しいかは、個人個人の肌質や使い心地によると思います。
個人的には、ベビーオイル自体は悪くないと思います。

もし、ベビーオイルを使っていて、メイク落としが不充分であるのなら、それは肌に優しくない使い方になります。
特に、クリームファンデ＋パウダリーというしっかりメイクの場合は、オイルがメイクを巻き込んでいても、きちんと肌から落とせていない可能性が高いです。
つまりは、メイク＋ベビーオイルの油膜かもしれないんです。
界面活性剤を含むオイルクレンジングだと、オイルがメイクを抱え込み、界面活性剤がそれを流してくれますからね。

一度、きちんとメイクが落ちているか、確認してみましょう。
拭くだけでメイクが落とせるコットンなどで、クレンジング後のお肌チェックすれば、効果は明らかです。

もしきちんと落ちていないようだったら、クレンジング剤を変えるか、ちょっと工夫をしてみてください。
ベビーオイルでメイクを馴染ませた後、そのまま通常の洗顔に移ってみてください。
【オイル＋メイク】が泡で包み込まれて洗浄されるはずです。

個人的には、そこまで面倒な確認作業をするくらいなら、クレンジングとして売られているものを使った方が早い気がします・・・。