繁華街を歩く時はやはりイヤホンをしないべきでしょうか？
かなり長文になります。

私は職場が渋谷にあります。
帰る時ナンパをされるのが嫌なので駅までイヤホンを音なしでつけ早歩きしてます。

理由としてはイヤホンをつけていると声をかけにくいらしいのと、仮に声をかけられても聞こえないふりをして無視しやすいからです。

ですが、この前歩いている時後ろから首を掴まれました。
声も出ないくらい驚いて相手の顔も見る余裕なく手を振り払った時に笑いながら「俺だよ！」
といわれ顔を見たら職場の上司でした。(30代後半の男性既婚)

その上司はヘラヘラ笑いながら「何本気でびびってんのー？お前ダサ！笑」
といわれました。

怖かったこととバカにした態度にムカついて「いきなりそんなことをされ本当に怖かった、もう二度としないでほしい」と怒りました。(少し涙でました)

そしたら「イヤホンなんかしながら歩いて注意不足のお前が悪いんだろう。」
といわれました。
しかも後日職場の何人かに「駅前であいつに声かけたらナンパと勘違いされた」と言いふらされ本当に最悪です。

上司言う通り音無とはいえイヤホンしながら歩いていた私が悪いのでしょうか？

あとイヤホン以外にナンパされないためになにか対策法などあれば教えていただきたいです。

過去にイヤホンしてない時にナンパされいくら無視してもずーっとつきまとわれて本当に怖かったのでもうされたくないです。

大変長くなりすみません。
なにかアドバイス等いただけると嬉しいです。