彼氏さんにフォローを外して欲しいとかブロックして欲しいとか言うのは、あなた自身が「面倒くさい女」になってしまうかもしれませんね。ただ、その女性をあなたも知っていて、「結構とんでもない子らしいよ、私あんまり好きじゃないんだよね」くらいは言ってもいいかもしれません。それを聞いてどうするかは彼の自由です。彼が特にアクションを起こさなくても、べつに会うことがあるほど近い関係なわけでもないなら、気にしないのが一番です。
そんな男好きの、あからさまに変な女のことなんか忘れちまってください。もし仲間内の集まりで会うような機会があるとしても、見ない！もしくはその女性がくるなら行かない！
気にしててもいいことなんか１つもありませんよ。思い出しても、「ああ、あのコか、どうでもいいわ」と笑えるようになるといいですね。