会社から一歩外に出たらオンコール（急な呼び出し）がない職種でしたらもう仕事のことは考えないようにした方がいいと思います。
1人で居ると落ち込んでしまうなら一緒にいると元気になれる友人と会ってみたり気分転換にカフェに出かけたりして意図的に仕事のことを考えないようにしてみるのはいかがでしょうか？

職場や狭いコミュニティだとどうしても合わない人って出てきますが私はその時間が終わったらなるべく秒で忘れるようにしています。
考えたり悩んだりして良い方向にいくことであれば良いと思いますが大抵は悩む時間がストレスになるだけなのであまり考えすぎないでくださいね。
仕事はオンオフの切り替えが上手くできると気が楽ですよ(^-^)