猫は柑橘系の香り全般が弱点なので、グレープフルーツ・オレンジ・ライム・レモン・みかんなどの香りが強い香水は猫のいる部屋でスプレーしない（信頼を壊し、猫が体調悪化するおそれがあります）、柑橘系のアロマディフューザーや芳香剤は撤去する&使わないほうがいいです。
猫と寝る可能性がある・希望される場合は、寝る前にシュッとするピローミストやファブリックミストや寝香水なども、やめたほうが安全です。

質問者さんが、香りものをこよなく愛していらっしゃる場合、猫との生活か、気兼ねなく香りものを楽しむ生活か、選ぶことになると思います。
もともと好きだったものに多大な制限がかかることになるとしても、有り余る幸せを実感されている方も少なくないようですが。