武士道产生于八九世纪，是在藤原氏专权的政治背景下兴起的。武士的形成与以天皇为首的中央集权制的瓦解和庄园制的兴起具有很大的关系。中央集权的衰弱造成了大化革新后实行的征兵制也日趋松弛，并于9世纪改成“健儿制”。但是这个制度的形成却将士兵变成了贵族的专制品，日本军队的素质慢慢降低，直至后来完全无法与之前的日本军队相比。此时，各地兴起的庄园为了保护庄园的安全成立了专门负责保卫的武士团。庄园武士团的兴起对地方构成了威胁，所以地方势力也组织了由当地富豪组成的武装力量，称为“郎党、郎众”。而武士兴起的年代，也是日本从律令社会转变为贵族社会的关键时期。
从11世纪起，日本武士阶层开始登上日本的政治舞台。1192年建立的镰仓幕府，标志着日本武士阶级掌握了国家从中央到地方的各级政权。镰仓幕府是日本历史上的第一个武士政权，从此，武士阶级成为了日本的统治阶级。幕府时代长达676年之久，武士阶级的思维和行为方式逐渐形成武士道，它对当时和以后的日本政治和社会生活都有着极其深刻的影响。