私もどちらかと言えば一匹狼ですし、ランチも一人で摂ります。
陰口を言う人は一定数いますが、私は我関せずで通します。
ああいう方はどんな状況でも自分の意に添わなければ誰の悪口もいうものです。

質問者さんが思ってもいないのに同調する必要はないと思いますし、変に同調すると自分が苦しくなります。
対応を間違えると八方美人だとあらぬ事を言われる可能性もありますし…

孤立する原因が個人活動にあり、それを改善したいのなら、陰口に同調するよりは当たり障りない対応でいなす方が賢明かと思います。
職場での人間関係は大切ですが、個人的には群れて陰口をいう人間よりも一人でも真摯に向き合える人間の方が素敵に見えますよ。
質問者さんが真摯に対応していれば、見てくれている人はきっといます。
悪い環境で腐らず、きちんと仕事をしていきましょう。