あなたのイライラが態度にも出ている可能性はありませんか？
ただでさえ自信のない人なら、威圧感のある態度の後輩に委縮してオドオドしてしまうのかもしれません。

＞変なところが頑固で融通が利かず

この「頑固」「融通が利かない」が部署の総意で仕事に支障を来すなら、上司に相談し指導してもらえばいいと思います。
あなたの個人的な意見なら、それが正しいとは限らないということも忘れずに。


＞対象に対して必要以上に嫌悪感がわく

その方への嫌悪感が「必要以上」という自覚があるなら、それはもうあなたの問題です。
無理にでも笑顔を作り、丁寧に接することを心掛けたらどうでしょう。
声が小さいとわかっているなら「聞きとりにくいので、今行きます！」と席まで駆けつける。
面倒でしょうが、きっとその方がイライラしません。
周囲のあなたへの評価も上がると思います。