平安時代末期武士勢力抬頭、薰物也將其原為香文化中主角的地位，讓與沈香等香木。比起能塑造優美氣氛的薫物，沈香的清爽香氣更為武家所喜好。在戰事之前使用具有鎮静効果的沈香、以使心情平靜等、可以想見，此時重視的是香氣對於心理層面的影響。

由於交易活動的盛行，來自各地的各式香木開始廣泛流通。
由於好的香木變得容易取得，使用香木為主的焚香，也從原本的供香用途，取代薰物的休閒作用而逐漸普及。
「伽羅」的概念也是在這個時候產生，有權有勢的人們收集香木，並在這過程中漸漸發展出對於香的理解。「聞」在中文是"嗅"的意思，但在日文則應該解釋為試圖理解、用心傾聽的意思。

南北朝時代的婆裟羅大名・佐佐木道誉收藏許多香木，並且為各種香木命名。 此外，室町幕府八代将軍足利義政使用自己收集的香木，以及繼承自道誉的香木，在東山山荘享受著品香的日子。
義政公為了將其擁有的大量香木加以分類，命令以三条西実隆（御家流始祖）與志野宗信（志野流始祖）為首的當時香的專家，編排出稱之為「六国五味」的分類法，也發展出一定的用具與聞香方式，從而形成香道。
（※六国是以伽羅・羅国・真南蛮・真那賀・寸門陀羅・佐曽羅來表示香的性質。五味則是用甜・酸・辣・鹹・苦來表示香氣）

香木之中尤以伽羅與沈香的附加價值日漸增大，而成為代表權力的象徵。
織田信長為了展現自己的權威，在取得天皇的許可之下將東大寺秘蔵的"蘭奢待"裁下一部分。除了信長以外，足利義政與明治天皇也分別裁下"蘭奢待"的一部分。
此外，豊臣秀吉等其他掌権者也熱中於收集香木，其中尤以徳川家康對於香木的執著為最。