長文&駄文なのでお暇な時に。

私の住んでいる市営住宅は5年前に新しくできた団地で、私を含め他の住人ほとんどが5年前に新規で入居した人達です。
すごく仲良い人はいませんが、挨拶や立話程度はしますし、お互い踏み込み過ぎず、私的には良い距離感で過ごしていました。

私の団地では1年交代で共益費等を管理する管理人さん1人、駐車場の管理人さん1人を順番で回していて、私は次年度、今年の4月から駐車場管理人になる予定です。
去年の年末あたりに今年度の管理人さんとたまたまお話しした際に、今後管理人のことで何かあればと電話番号を交換しました。
私は30代後半で独身一人暮らし、管理人さんは50代独身で母親と二人暮らしの女性です。他の世帯は高齢者や夫婦がほとんどですので、私には話しやすかったかもしれませんが。。。
後日、その管理人さんから電話があり、他の住人の悪口や出席した会議の議事録で気に入らない所を1から読み直すなど本当に下らない内容の話を2時間程一方的に話されました。切れずに話を聞いてしまった私も悪いのですが、その後ちょこちょこ急用でもない事で電話がくるようになり、出れないと4.5回ほど連続で不在着信が入っているようになりました。話した感じだと私の車が駐車場にあるかどうか見て、在宅か確認してから電話してるっぽいです。
神経質な方で会話自体にも悪口にも疲れるし、本当はかけ直したくないのですが、たまに管理人に関する連絡もあるので完全無視できず、Cメールで用件を聞いても、文字を打つのが得意ではないからと必ず電話をかけて来ます。

最近全部屋に直接配布したいものがあったらしく、インターフォンを押して返答が無い部屋の前で駐車場に車があるのに！とか、換気扇が回っていて気配がするのに誰も出ないのおかしい！と言いながら2.3度インターフォンを押している姿を目撃し、本当にやばい人だったんだと電話番号を交換したことをさらに後悔しました。
また他の方から聞いたのですが、誰もやりたがる人がいなくて次年度も現在の管理人さんが続投する可能性が高いそうで、その時は管理人さんの仕事を色々私に手伝ってほしいようなのです。(今までの駐車場管理人は一切そんな事してません)このままでは今以上に連絡してくるのでは？ととても憂鬱です。

正直もう関わりたくないですし、本当ならしつこく電話しないでとはっきり言いたいですが、目上の方ですし、一応管理人さんとしてもお世話になっているので。。。
逃げ場がなく最近ちょっと参っています。
平和的に距離を置く良い言い方、対応などアイデアがあったら教えて下さい！

ちなみに金銭面ですぐ引越しは無理です。ほかに管理人さんを嫌っている人は何人かいるのですが、そのグループのリーダー的な方も性格が悪くて、信用できない感じです(T_T)