色気とは真逆の要素がある事。
柔らかさと硬さ
鋭さと気怠さ
光と影
強さと弱さ
優しさと厳しさ

などなど。
よく観察してみると、色気を感じる人物や物の中に、そういう要素を発見する事が出来ると思います。
その前提は男女共に同じでも、

男性の場合(例)
柔らかさの中の硬さ
光の中の影
弱さの中の強さ

女性の場合(例)
硬さの中の柔らかさ
影の中の光
強さの中の弱さ

の様に、メインとなる部分が逆転している事が多いと思います。
それは男女の体つきが逆の要素(硬さ＆柔らかさ)で出来ているからというのが根本にあると感じます。
だからこそ、男にしかわからない、女にしかわからない、が発生してくるのだと思います。