私自身が障害者、小さな頃から障害のある子供から大人まで、障害の種別や程度をみてきました。
義兄弟さんが人に危害を加えるタイプでないのであれば、教育のチャンスというか「世の中には色々なハンデを抱えながら生きている人もいる」という考えが自然と身につく環境になると思います。
なのでお子さん云々は置いておきます。
質問者さんご自身は障害のある人の存在までは否定しないけど日常にはいてほしくない、みたいな感じなのかなと思います。
義兄弟さん(＋姑さん)と頻繁に関わることになるであろう敷地内同居は無理でしょう。

あと、敷地内同居に乗り気じゃない理由はその「義兄弟さんの大声」以外にもあるんじゃないかという気もします。
そこら辺も含めてパートナーさんとよく話し合ってください。