わたしも専用洗剤をおススメします
ちょうどパフ・スポンジ専用洗剤のクチコミしようとしてたところなのでレスさせて頂きます(^^)

わたしも、ずいぶん前ですが質問者さんのようにＷクレンジングの方法でパフとスポンジを洗ってた事があります。顔に使ってるものと同じものを塗ってるし、同じ方法で洗浄するんですから、理にかなってるって思いますよね。

しかし、専用クリーナーを使ってみると、肌とパフは違うってことに気付きました。また、専用以外のもので洗うとパフの素材が硬くゴワ付きやすくなる上に、いっぱい揉み洗いするのでパフの型が崩れてたってことも気付きました。

専用洗剤だとそれほど丁寧な揉み洗いをしなくても綺麗に落ちてくれます。100均で買えるものもあるし、大手メーカーのでもすごい高いものじゃないので、専用の洗剤を使う事をおススメします(*^^*)