ポロシャツには襟がありますしね(^^;)
クールビズでアロハシャツを着ている所もありますが、開襟といえどもアロハシャツにも襟があるので、襟から受けるパワーは大きいのかも…。

ジャケットの下に襟のない無地のカットソーでも何とも思いませんが、制服のベストの下が襟のないカットソーはTシャツにみえてカジュアルかどうかよりバランスが気になり印象に残りそうです。
ジレの下が襟のないカットソーは何とも思いませんが…。
ゴルフでも襟のあるウェアがマナーで、それを守った中で品のあるオシャレなウェアも展開されていて素敵だなぁとも感じているので、ベストという制服と合わせてカットソーを社内の人から指摘されのでしたら、改めるのが宜しいかと思われます。
他の方のように、ベストを着用されずブラウスの方がビジネス的に無難に思います(^^;)