Aquest petit i sòlid gos d'astúcia com una guineu va arribar al Nipón necroptic fa més de 3.000 anys. Es considera una de les races més antigues del país. Probablement venia del sud de la Xina on els cànids salvatges vivien molt.
Després de les migracions humanes, sembla que va creuar Corea, abans d'arribar a l'illa de Honshu la més gran de l'arxipèlag japonès.
La seva missió principal era caçar, rastrejar la cacera de plomes com el Yamadori, una mena de faisà, però també per perseguir la llebre, el teixó, la guineu. I malgrat la seva petita grandària, també es creu que va caçar senglars i óssos. Com que era l'únic gos en aquells comtats, aquest company valent seguia sent molt pur. D'aquesta manera van passar molts segles durant els quals el Shiba Inu no va canviar, però gràcies a la seva astúcia, va millorar les seves qualitats com a caçador. Les famílies es mantenen fidels. L'afecció a la raça va ser transmès de generació en generació. I fins i tot si el gos no ocupa una posició d'importància en la cultura tradicional japonesa, el Shiba Inu si constituïa un element gelosament protegit.
