質問者様がどういう状況に置かれているのか分かりませんが、もし不妊にお悩みのようでしたらお気持ちお察しします。

この問題はパートナーによると思います。。自分自身、女ですが、婚活恋活していたとき、「子供がほしい」と予め伝えられる男性は多数いらっしゃいました。私は子供がほしい願望が薄かったため、そういった男性は避けました。
妊娠出産は楽なものではなく女性の体＆精神的にとても負担がかかるものです。正直申しますと、その事が理解できてないで「子供がほしい」なんて良く簡単に言えるな、身勝手だなと思っていました。お前が産め、とも思いました。
家庭の事情で、本人ではなくその親が孫が欲しいと願うことも多いと思います。
一方で不妊に悩み精神的に参ってしまって、子持ちの人への嫉妬も生まれ悩む友人もたくさん見てきました。
妊娠しても、必ず健康で生まれてくるとも限りません。リスクが大きいんです。

パートナーが自分の事を愛してくれていれば、いくら子供が欲しい願望があっても押し付けはしてこないでしょう。押し付けされるならその程度の人だったということだと思います。その先苦労すると思います。
不妊がわかっているなら予め伝えることも肝心です…共に頑張っていけるのか(ひとりで頑張るものではありません)、子供のない生活ができるのか。
質問者様の言う「気にならない」とはちょっと違いますが、自分の事を労ってくれる相手なら、乗り越えられる問題かと…私は感じます。