合わない部分があるというだけ
オタクだから冷めたわけじゃないと思いますよ。
ただ、自分と彼とのあいだで共感できるものより違和感を感じるものの方が強いだけじゃないですか？
そのひとつがたまたま「オタク」な趣味だっただけでしょう。

たとえオタクな趣味でも、投稿者さんがそれに興味を持てるタチならば、お互い楽しく過ごすことができる。
投稿者さんの趣味に彼が興味を持たなければ、その時間は彼にとってつまらない時間でしかない。
それぞれ、価値観の違いがそこにあるだけです。

彼の価値観に寄り添えるなら、彼といればいいと思います。
逆に、彼の趣味を見て冷めたというのなら、その時間をもっと価値観の合う人といっしょにいたらいいと思います。

気を使って一緒にいても、自分も相手も息苦しいですから。
合わない部分を合わせようともがくんじゃなくて、合う部分をより楽しめる関係づくりをしていけるようにしたらいいんじゃないですかね。