私自身はあまり嫉妬をしないタイプですが、嫉妬とは別の意味で、恋人持ちや既婚者が異性と二人きりになるのは嫌です。周りに誤解をうむからです。
「周りがどう見るか」を考えられない人は、有り体に言えば頭が悪いと思うので好きではありません。

何をどう感じるかは個人の自由ですので、彼氏さんにどう言われようが相談者さんの気持ちを否定する必要はありません。
この場合の問題は、彼氏さんが相談者さんの気持ちを理解しないことではなく、相談者さんが「しないでほしい」と言っていることを彼氏さんがしてしまうことだと思います。
「しないでほしいこと」と「しても構わないこと」をはっきりと言ってみてはいかがでしょうか。二人きりは嫌だとか、男女とも複数人ならいいとか、具体的に。
丸く収まるといいですね。