Untu sejarah anjing shba inu, pada hasil analisa DNA membuktikan bahwa Shiba Inu merupakan anjing ras yang "paling primitif" dan paling tua. Shiba Inu sejak dulu sudah dipakai untuk menemani berburu hewan-hewan kecil seperti kelinci dan burung pegar.
Sejak zaman kuno, Shiba Inu yang dipelihara di berbagai tempat di Pulau Honshu dikelompokkan berdasarkan daerah asal: Anjing Kawakami dari Shinshu, Anjing Hoshina, Anjing Togakushi, Anjing Mino Shiba dari Mino, Anjing Sekishu, dan Anjing Inaba dari wilayah San-in.
Shiba Inu yang dikenal sekarang merupakan hasil kawin silang Shiba Inu dari Shinshu dengan Shiba asal daerah San-in. Kawin silang dilakukan oleh program pelestarian anjing ras Jepang pada awal zaman Showa. Shiba Inu merupakan satu-satunya dari 7 jenis anjing ras pusaka nasional Jepang yang tidak lagi mencantumkan nama daerah tempat asal.
Sejak zaman Jomon, Shiba Inu sudah hidup berdampingan dengan manusia. Dari hasil penggalian di situs tumpukan kulit kerang asal zaman Jomon ditemukan lebih dari 200 kerangka anjing. Orang zaman Jomon mengintroduksi anjing ke Jepang untuk teman berburu. Anjing zaman Jomon jika meninggal kelihatannya dikuburkan secara baik-baik. Berdasarkan bukti tersebut diketahui bahwa orang Jepang sejak zaman Jomon tidak punya kebiasaan makan daging anjing. Anjing zaman Jomon bahkan dikuburkan di makam keluarga pemiliknya.
Berdasarkan kerangka hasil penggalian terlihat tubuh anjing berukuran kecil, bentuk stop (pertemuan moncong dan kening) yang mulus, serta gigi dan taring yang besar-besar. Diperkirakan, anjing Jepang periode awal yang dipelihara pada zaman Jomon adalah anjing dari keluarga Shiba Inu.
Sebagian besar penggemar menuntut Shiba Inu yang memiliki ciri-ciri khas anjing zaman Jomon seperti bentuk tubuh yang berotot, riang dan lincah bergerak, sifat awas dan berhati-hati seperti anjing liar dan kepercayaan yang kuat terhadap majikan.