とりあえず
彼の事は信じてあげて下さい。
その上で、そう言う事が原因で不安を感じている事も言えば良いと思います。


昔、夫とまだ結婚前に学生時代の女友達（元カノではないですが、運動部のマネで多分好意を持っていたと思われる）から、一緒にいる時によく電話がかかってきた事があって、「相談」と言いながらも結構自分の近況をあれやこれやと話していたので、あまりにもイラっとして彼に「その人は結局のところどうして欲しいんだろ？」と言いました。
彼も「それもそうだね」と、本人に「何もしてあげられないから、もう電話しないでほしい」と言ってからはそれっきり。


男性って、お断りする時に「迷惑だから止めて」とは言わないんですよね。一応、気遣いなのかなんなのか。
相手の女性は「彼女がいるから無理」なら、彼女がいなければ付き合えるんじゃないかとか、自分に振り向かせれば良いと自分に都合よく解釈しちゃってるんだと思います。
彼が「迷惑だから止めて」って言えば、彼女のいるいないにかかわらず「君には興味ないから」って意味になりますよね。
相手を傷つけないように誠実にお断りしてるつもりだとは思うんですけどね。