こんにちは。
最近、同様のクレンジング法で誤った認識をお持ちの方が多いので、お邪魔させて頂きました。

私もＴａｋｉＲｕｍｉさんが回答下さった内容と同様の部分が気になりました。
昨今、市販のクレンジングオイルではない普通の植物オイルを、肌に良いだろうとクレンジングに使用されている方が多くなり、その後の対処を誤ってトラブルを招いてお困りの方が多いようです。
まず、指摘にあったようにクレンジング後にしっかりと洗顔を行っているかどうかが問題点です。
オリーブオイルをお肌に残したいからとふき取りだけで済ませておられたとしたら、これはとんでもない間違いで、当然ニキビや角栓の元になります。
皮膚は、油分だけを与えられて喜ぶようにはできていません。
水分と油分を適度なバランスで与えてあげる乳液やクリームの存在意義を思い起こしてみて、お間違いのないようにして下さい。

では「私はきちんとダブルクレンジングで落としている」といった場合はどうかという事になりますが、実はまだ問題があります。
それは、"植物油を大量にそのまま顔に塗布する"というところです。
天然植物油には、お肌の内部に浸透しやすい成分がいくらか含まれています。
これらの成分は角質層からさらに内部に浸透し、油分過多となってしまう事があります。
もちろんお肌にとっていい働きをしてくれる成分もありますが、そうでない成分も当然含まれています。
皮脂が不足の箇所はそれでも良いのですが、皮脂分泌の多い小鼻やＴゾーン、そして肌質によっては油分過多となって角栓になってしまいます。
ですので市販のクレンジングオイルは、皮膚内部に浸透しない合成油やミネラルオイルをあえてメインに使用しているという訳なんです。
市販コスメがなぜこういった形になっているか、今一度再考の上でケアを見直してみられるのが良いかもしれませんね。

最後に下記の方も書いて下さったように、一度大きくなってしまった角栓は、無理に抜くとさらに毛穴が広がりますので、じっくりとクリアケアによって時間をかけて少しずつ小さくする努力をしてみて下さい。
半年位で効果は出てくると思います。
間違った自己判断ケアによって起きてしまった状態を回復するには、相応の年月を要する事は覚悟しなければなりませんね。
今からなら間に合いますので、頑張って下さいね。