Éste pequeño perro sólido y astuto como un zorro llegó al archipélago Nipón hace más de 3.000 años. Se le considera una de las razas más antiguas del país. Probablemente provenía del sur de China dónde vivían cánidos salvajes que se le parecían mucho.
Siguiendo las migraciones humanas, parece ser que atravesó Corea, antes de llegar a la isla de Honshu la mayor del archipiélago japonés.
Su principal misión era cazar, rastrear la caza de pluma como el yamadori, una especie de faisán, pero también para perseguir la liebre, el tejón, el zorro. Y a pesar de su tamaño pequeño, se cree que también cazaba jabalíes y osos. Como era el único perro de aquellas comarcas, este valeroso compañero seguía manteniendose muy puro. De esta manera pasaron muchos siglos durantes los cuales el Shiba Inu no cambió, pero gracias a su astucia, mejoró sus cualidades de cazador. Las familias seguían siendoles fieles. El apego a la raza se transmitía de generación en generación. Y aunque el perro no ocupe una posición de importancia en la cultura tradicional japonesa, el Shiba Inu si constituía un elemento celosamente protegido.