あまり洗わなくてもいいと思います
かかりつけの皮膚科の先生に「ボディソープで洗ったら余計乾燥する」「よっぽど汗をかいたわけじゃない限りお湯だけでいいよ」と言われてからはその通りにしています。
全身がひどく乾燥していましたが（とくに冬場は痛みだすくらい）、先生の指示に従ってからは改善されました。

お湯だけで洗うといっても、石鹸を使用する場所もありますよ。
・汗腺の集まる場所（ワキや足指など）
・デリケートゾーン
・首周り（シャンプーなどを落とすため）
は泡立てた石鹸で軽く洗ってます。
そのときはタオルなどは使わず手で撫でるように洗ってます。
洗顔だって手で洗うんですから体も同じじゃないでしょうか＾＾

質問者さまのご指摘どおり垢が気になるので数日に１度はタオルなど使います。
擦らないように気をつけて洗ってます。
垢は汚れだと思ってましたが、皮膚科の先生いわく「溜まったら汚れだけど基本的にそれが皮膚を守ってる」そうです。
軽くシャワーを浴びるだけで十分汚れは落ちてるらしいです。

私の住んでる沖縄県は本土と違って硬水です。
硬水を浴びて更にボディソープでゴシゴシ洗うと、皮膚が擦れて乾燥が悪化します。
本土は軟水の地域が多いのでわからない方もいると思いますが、硬水を浴びてるだけで結構乾燥してしまうんですよね。
以前本土に住んでいたときは全く乾燥しませんでした。水の違いって本当に大きいと思います。
軟水地域にお住まいの方は洗い方を変えるだけでかなり改善されると思いますよ＾＾