平安末期より武士が台頭してくると、香り文化の主役であった薫物は香木、なかでも沈香にその座を譲ります。 優美な雰囲気をもつ薫物よりも清爽な香りをもつ沈香を武家がより好んだためです。 鎮静効果に優れる沈香は、戦の前の高ぶる気持ちを鎮めるなど、香りの精神性を重用されたと思われます。

交易が盛んになったことから、多くの産地より、多種の香木が流通するようになります。
良質の香木が入手できるようになったことから、それまでは供香として続いていた香木中心の焚香が、趣味の香りとして薫物の代わりに普及し始めました。
「伽羅」の概念が生じるのもこの頃で、有力者たちによる香木の収集も進み、その過程で香りを深く感じる姿勢が生まれました。「聞」とは中国語で嗅ぐの意ですが、日本語での「聞く」は理解しようとする、心を傾ける、と理解してよいでしょう。

南北朝時代の婆裟羅大名・佐々木道誉は多くの香木を所有し、様々な香木に附名しました。
また、室町幕府八代将軍・足利義政は自身が収集したものや、道誉から受け継いだ香木により東山山荘にて聞香三昧の日々を送ったとされています。
義政公は、その莫大な量の香木を分類する必要に迫られ、当時香りのエキスパートであった三条西実隆(御家流流祖)や、志野宗信(志野流流祖)を中心に「六国五味」という分類法を編み出し、用具や聞香方式も様式化され、香道が成立していきます。
（※六国とは香りの性質を表す伽羅・羅国・真南蛮・真那賀・寸門陀羅・佐曽羅。五味とは香りを味で表した甘・酸・辛・鹹・苦のこと）

香木、特に伽羅・沈香の付加価値は次第に増大し、権力の象徴的側面を持つようになります。
織田信長は自らの権威を示す為、東大寺秘蔵の蘭奢待を勅許を得て裁断しました。この蘭奢待は信長の他にも足利義政、明治天皇によって裁断されています。
又、豊臣秀吉など他の権力者も香木の収集に熱心で、中でも徳川家康の香木への執心は群を抜いていたと言われています。