スクラブ系のボディウォッシュをお探しの前に、今一度ご確認をお勧めしたい事があります。

浴用タオルを使用して市販の石けんやボディソープで洗えば、汚れが張り付いて残る事があり得ないんです。
おそらく、お肌に残っていると感じておられるのは『落ちていない汚れ』ではなく、石けんカスだと思います。

石けんカスとは、石けんや石けん系処方のボディソープ（花王以外はほとんどがコレ）と水道水のカルシウムとが化学反応で結合し、水に溶けない成分となってお肌に残る成分の事です。
石けんやボディソープを洗面器のお湯の中で泡立てて良く見ると、白く溶けていない固形物が水面にわずかに浮いているのが見てとれます。

普通はあまり気にならないものですが、ご質問者様は非常に繊細な肌センサーをお持ちで、お肌に付着するこれが気になるのではないでしょうか。
もしくは、硬度の高い水道水の地域だと石けんカスが多量に発生しますので、それが原因である事も考えられます。
例えば海外や、温泉地で石鹸を使うと全く泡立たないのが、この原因によるものです。（そのため、シャワーや水道から出る水は温泉を引いていない事が多いです）

この辺りを一度確認され、石けん系ではないボディソープ（花王）やピジョン・ミノンといったベビー用ボディソープを一度お使いになってみてはいかがでしょう。

以上をご確認の上で、それでも解決できずにスクラブ系を･･･という場合ですが、ソルトやシュガー系が最終的に水に溶けてしまいますので、環境への負担はありません。
ただし、水に溶けるまでは粒が粗くて硬いため、お肌に痛みを感じる可能性があります。

一方でクレイや植物系のスクラブ剤ですが、こちらも環境への負荷はありませんが、ご自宅の排水管などに堆積して詰まるといった問題があります。
これは泥パックが流行した時に消費者クレームで問題になり、今は業界の告知で商品に注意書きが書かれていると思いますが、長く使っているとどうしてもＵ字管などに堆積していきますので、あまりお勧めではありません。

ご参考までに。