とんでもない人がいるんですね。その上周囲に相談するのは憚られ、転職も難しい状況とは心中お察しします。1番無難なのは無視だと思いますが、質問者様が心を痛めながら仕事をしなければならないなんて理不尽だと思います。特に理由もないのに他人の悪口を本人に聞こえるように言うなんて、普通の人はしません。
なのでもし可能であればですが、「〇〇さんおはようございます」と敢えて名前入りでしっかり目を見て出勤時に声をかけると状況が変わるかもしれないです。声はお腹から大きめに出すと良いです。こちらを見なければ、肩をたたいて振り向かせても良いと思います。これを毎日行います。相手が本当に質問者様のことを悪く言っていた場合、牽制になります。そうでなかった場合、話すきっかけになって質問者様の悪口ではないことが判明するかもしれません。
私の例になりますが、数年前、バイト先で初日から私にキツく当たる社員さんが1人いました。キツくされる心当たりは全くありませんでした。嫌いな人に顔でも似てたんでしょう。店長等も社員さんの態度に気付いていましたが、ただ当たりがキツいだけで決定的な出来事がなく、誰も注意できない状況でした。私は居心地が悪いのが我慢できなかったので、その社員さんとシフトが被ったら必ず、目の前で立ち止まって名前入りで挨拶する、大きめの声で話しかける、話す時は毎回すごい笑顔で目をしっかり見ることを心掛けました。しばらく続けたら、相変わらず私のことは嫌ってそうでしたが、態度が軟化しました。変な態度をとってくる人はこちらを舐めてるんだと思います。なのでこいつに辛く当たったら反撃されるぞ、と相手に思わせれば勝てると思います。
ただ相手が明らかに変わっていて、逆恨みで変なことされそうであればこのやり方はおすすめしません。絶対上手くいくとも限りませんので、参考程度でお願いします。自分の心を大事にしてください。