似たような経験あります・・
好きな人が腐女子でしたｗ
最初はまあびっくりしましたけど、一緒になってお勧めのＢＬ小説読んでみたら、結構面白いｗｗはまりはしませんでしたけど同じ作品読んだことで共通の話題が一個増えました！
トピ主さんも、例えば一緒にその「聖地」に行ってみるとか、おすすめのアニメを見てみるとかしてみたらどうでしょうか？
そこでどうしても引いてしまうのであればその時また考えてみましょう。
オタクな人って質問すると結構熱く語ってくるので、それに乗っかるもよし、それに冷たくツッこむのもよし。じゃないでしょうか？ｗ
その彼も最初はあまりオタクっぽさをだして引かれないようにしてたと思いますが、トピ主さんにそうゆう話しをし始めたというのは気を許してる証拠じゃないでしょうか？
いまどきオタクなんて程度の差はあれ珍しくもないと思うので、それだけで離れてしまうのはもったいないですよ！
ただ、趣味に費やすお金が尋常じゃなかったりする場合（収入に見合った使い方ではない場合）は将来のことも考えると少し考えた方がいいかと思われます。
参考になれば＾＾