私も合わない､というかもう生理的に無理！って人います｡
その人(Aさんとします)は特定の人の愚痴を周りに言うんですけど､言葉使いは汚いし､自分は仕事手抜きすることある癖に人のこと言えないだろ！って思います｡
でも同じポジションで働いてる以上無視は出来ないし､最低限どうしても喋らないといけない時以外は喋ってません｡喋ったらしんどくなるだけなんで｡

自分はちゃんとやる事やって仕事してます！って態度を取っていれば､周りのちゃんと見てる人は見て評価してくれます｡
Aさんは散々なことを周りの人に愚痴ってますが､上司に手抜きをしてるのがバレていて追求された時オドオドして必死に言い訳してましたが､それから上司に疑いの目で見られるようになり信用ガタ落ちでした｡
きっと質問者様のことを悪く言ってる人たちもそのうち痛い目合うと思いますよ｡