Yəhudilik Azərbaycanda tarixən dağ yəhudiləri ilə təmsil olunmuşdur. Musa Kalankatlı dağ yəhudilərinin Qafqaza gəlişini e.ə. I əsrə aid edir. Tədqiqatçıların bu barədə fikirləri fərqlidir. 

Bir fikrə görə, ən qədim yəhudi icmalarından olan dağ yəhudiləri mənşəcə bir vaxtlar Assuriya və Babil şahları tərəfindən Fələstindən çıxarılmış və Midiyada məskunlaşdırılmış İsrail oğulları nəslindəndirlər. Onların əcdadları yəhudiliyə ilk iman gətirmiş insanlar olmuş, Fələstindən kənarda yaşamış və xristianlıq yəhudiliyin içindən çıxan bidətçi bir firqə kimi təşəkkül tapmağa başlayanda İsa Məsihi təqib edənlər arasında olmamışlar. Elə Midiyada ikən onlar tatlarla qaynayıb qarışmışlar. Bunun təsiri altında dağ yəhudiləri fars dilinin qədim arami və yəhudi sözləri ilə qarışıq bir ləhcəsi olan tat dilində danışırlar.

Başqa tədqiqatçıların fikrincə, dağ yəhudiləri Şərqi Qafqaza Sasani hökmdarı Xosrov I Ənuşirəvan (531-579) tərəfindən köçürülmüşlər. Hökmdar Qafqazda qalalar tikdirir, şəhərlər saldırır, bu şəhərlərdə Mesopotamiyadan köçürtdüyü farsları və yəhudiləri yerləşdirirdi. Dağ yəhudilərinin danışdıqları tat dili də həmin dövrdən miras qalmışdır.

Hər halda deyə bilərik ki, dağ yəhudiləri Azərbaycana sasanilərin siyasəti ilə bağlı olaraq 15 əsr bundan qabaq gəlmiş, imperiyanın təhlükəsizliyini təmin etmək məqsədilə sərhəd məntəqələrində yerləşdirilmiş, yerli əhali ilə sıx təmasda olsalar da, dinlərini, adət-ənənələrini, həyat və düşüncə tərzlərini qoruyub saxlamışdırlar.