おはようございます、チョピさん。
ちょっと他の方のご回答と違うので、書き込ませて頂きますね。

ご質問を読ませて頂くと、ポロポロが出るタイミングが『洗顔後』という事で限定されていますね。
そして使われている洗顔料がオルビスのアクアフォースのマイルドウォッシュですから、お答えは簡単です。
それは石鹸カスです。
追加で「白い消しゴムカス状」のものと確認されたとの事で、ほぼ間違いはありません。

手で再現してみましょう。

１．まず、手の平を合成洗剤の台所洗剤でよく洗います。
２．そしてさっとタオルドライをし、お顔でされたのと同様に乾き切るまでゴシゴシとやります。
３．何も出ないと思います。
４．次にお使いの洗顔フォームで手を洗います。
５．同様にタオルドライをしてから乾くまでゴシゴシとやります。
６．カスがポロポロと出てきます。

この実験を一度試してみて、お顔に出たものと同じか確認して下さい。

セミナーの際にこうした実験を行うと皆さんビックリされるのですが、現状をきちんと知っておく必要があります。
実は、洗顔後にお顔をゴシゴシとやられる事はまずありませんので、この現状はほとんどの方がご存知ありません。
石鹸系の洗顔料を使われると、軟水を使用しない限りは必ずこの現象が起きます。
ただ、商品によっては処方的な工夫で多少の出方の違いはあります。
オルビスのこのアイテムは、石鹸に使われる脂肪酸のメインがステアリン酸になっていますので、石鹸カスが固く、出やすい処方になっています。
この石鹸カスについては

「お肌に適度な保湿を与えてくれる」
「水に溶けないので、化粧水をはじいて浸透を妨げる」
「微生物のエサになるので、ニキビの原因になる」

と、その良し悪しは賛否両論様々ですが。

ではこれを解消する方法ですが、一つには拭き取り化粧水をご使用下さい。
これはそのために開発されているものですから。
他に、エタノールの配合の多い化粧水を使うと、石鹸カスを溶かして影響はなくなります。
もしくは、アミノ酸系の洗顔料を使われると、石鹸カスは出ません。

という事で、もしも石鹸系の洗顔料がお気に入りで、お顔の状態に特に違和感を感じないのであれば、特に気になさらなくて良いでしょう。

ご参考になさって下さい。