言ったほうがいいと思います。そのような話は、しづらいのが本音だと思いますが、言わずにいると心苦しいですし、質問者さんがそのように悩まれているということは、相手のことを考えてらっしゃるからだと思います。言うことで、質問者様もつらい思いをしたりするかもしれませんが、言わずに黙っておく罪悪感のほうがつらいと思います。
私も、ぜんぜん違う件ですが、お金のことで旦那に初めて話をしたとき、きっと嫌な雰囲気になるだろうな、と思いながらも、言わずに過ごすのは無理なので話しました。案の定、すごく嫌な雰囲気になりましたが、旦那は、そうやって悩まないで話してくれればいい、そしたらあとは俺がなんか考えるから、と言ってくれました。
黙ってるのがあとでなんかの拍子にバレると、信頼関係も崩れる可能性があるように感じるので、話したほうがいいと思います。