Históricamente, el judaísmo ha estado representado por los judíos de montaña. Movses Kalankatvasi refiere la llegada de los judíos de montaña al Cáucaso al siglo I a.C., mientras que los investigadores tienen diferentes opiniones al respecto.

Según una fuente, los judíos de montaña, que son las comunidades judías más antiguas, se generaron a partir del pueblo de Israel, expulsado de Palestina por los shahs (cha) de Asiria y Babilonia, y se establecieron en Midia. Sus antepasados fueron los primeros en establecer el judaísmo, que residía fuera de Palestina. No participaron en las persecuciones de Jesucristo al principio de su formación como comunidad única. En Midia formaron comunidades mixtas con tats. Así, los judíos de la montaña hablaban la lengua de los tats, que es el antiguo dialecto de la lengua persa que comprende palabras arameas y judías.

Otros investigadores consideran que los judíos de montaña fueron trasladados al Cáucaso oriental por el gobernante sasánida Khosrow Anoushiravan (531-574). El gobernante construyó torres en el Cáucaso y asentó en ellas a persas y judíos que trasladó desde Mesopotamia. La lengua tat que hablaban los judíos de las montañas también sobrevivió desde esa época.

Al menos se sabe que los judíos de montaña que llegaron a Azerbaiyán hace quince siglos debido a la política sasánida se asentaron en los distritos fronterizos para garantizar la seguridad del país. Aunque mantenían estrechas relaciones con los habitantes locales, conservaron su religión, sus tradiciones, su estilo de vida y su forma de pensar.