洋服の販売員でしたが、こういうお客様の対応が苦手だというのは販売員によって異なってきますよ。
また少し失礼だったり、厄介なくらいでは対応を断ることはありません。

BAの方も含め皆に共通しているように感じたのは恋愛感情を持ったり、友人のように振る舞う距離感の変なお客様は避けられます。
会話の流れでという訳では無く、個人情報を聞くなどが続いて販売員が困ると担当者を変更する場合がありました。
お目当ての販売員がいらしてご指名なさるようなことは店側が対応していれば問題は無く、むしろ販売員の評価が上がるので通常は喜ばれますよ。

気持ち悪がられているように感じるならサンプルや購入金額より、会話内容に問題は無かったか考えられた方が良いです。
ただ特殊と言いますかレアケースではあるので、質問者様が考え過ぎていらっしゃるだけかもしれません。