体を触る上司や終業時間に無駄話の電話や下ネタなどを言う先輩など、周囲にそういう人達が多いようですが、会社のコンプライアンス管理に問題があるのかはわかりませんが、上司だから先輩だから我慢？されているのであれば、はっきりと意思表示をされたほうが良いと思います。
私だったら、今忙しいので、、、とか、上司に呼ばれているので、これから打ち合わせなので等、理由をつけて断るのに始まり、上司に社内電話が長い、私的な電話が多いとお叱りを受けたので、、、と伝えて回避するか、話が下ネタになってきたら、隣の人に聞こえるくらいの声の大きさで「すみませんが、そういう話はちょっと、、、」と伝え、止めてくれなければ、わざとスピーカーを押して（アクシデント的にボタンを押したように見せかけて）周囲に聞こえるようにして問題にするか、上司やコンプライアンスの窓口に相談します。
仕事のネタくれるからとか、相談にのってくれるいい上司だからという考え方をされるのではなく、ご自身が仕事をするうえで何が大事なのか、何を優先すべきかを考えてご自身で解決できないのであれば、困ったことは周囲や上司にまず相談し、それでも解決できないのであれば、それに関係する相談するにに適切と思われる人・部署に相談されては如何でしょうか。