慢性蕁麻疹持ちです。

“蕁麻疹のようなもの”が蕁麻疹かどうか、出たときに写真を撮っておき、それを皮膚科に持って行って見せてください。
蕁麻疹ではなく洗浄力が変わったために毛穴汚れや角質が落ち切ってなくて毛穴詰まりによるポツポツ(これも痒いです)かもしれませんし、腕や背中ならマラセチアなどの菌かもしれません。
(前者ならボディソープを戻してボディローション等でお肌のケアすれば半月や1ヶ月ほどかかるかもしれませんが、後者なら放っておくとなかなか治りません。)

外部刺激からの蕁麻疹と体の中からの蕁麻疹があって、外部刺激ならそれを取り除けば治まりますが体の中からのものなら原因を特定するのは難しいので抗ヒスタミンを暫く飲み続けた方がいいです。(私は10年ほど服用してます。)

ボディソープを変えたからか、たまたまそのタイミングで蕁麻疹が出やすい体質になった可能性もないとは言えないので、一旦ボディソープの使用を中止して様子を見て、それでも出るようなら皮膚科へ。