何か、トガッた趣味や特技やスキルに関わる話題の場合は、恋人では話題について来られないのであれば、その人と交流するしかないですから、不義理には当たらないと思います。
その場合は、自分が恋人にされても気にしません。

マナー違反や不義理となるのは、「〇〇さんならこういう時、スパッと受け答えしてくれるのに～」などと比較するようなことを言ったり、
ときめきに心震えて揺らぐような情緒的な交流が大きいと、まあ危険ですよね。人と人の縁ですから、実際そうなったらどうしようもないとは思いますが。
今の恋人と、長く安定して付き合いを大切にしたいのであれば、情緒的で心温まる交流を重ねるのは危険な気もします。二兎を追う者、一兎をも得ず。の結末になることも考えられますし。

心底ほっこりするような、ときめきが出るような会話が発生するのであれば、通話相手とはいったん距離を置いて、自分の気持ちと状況を整理したほうがいいと思います。
通話の最中はほっこり快く会話していても、
『恋人がいる状態で、ほかの人とこんな声のトーンで、こんなふうに通話したりするんだ？』と通話相手さんも疑念がよぎると思うので。
通話相手さんに気持ちが傾いて、今の人と別れるようなことになったときに、「しこり」になりかねません。