La historia de Chaouen y su origen se remonta a Sidi Ali Ben Ranchid, emir marroquí que se enamoró locamente en España de una hermosa muchacha llamada Zhora , la cual era de la actual Vejer de la Frontera, Cádiz. Vejer estuvo bajo la influencia árabe por algo más de 500 años, de ahí que nos parezca que tiene cierto toque árabe. Se casaron y al poco fueron exiliados a Marruecos a causa de la reconquista.
Al llegar a Marruecos decidieron asentarse en una población bereber situada en la ladera de una montaña.
El emir ganó influencia y poder en la zona pero no podía pasar por alto la tristeza que veía en los ojos de su amada , esta extrañaba enormemente su hogar.
Al emir impulsado por el enorme amor que sentía por ella se le ocurrió recrear en ese lugar el pueblo donde fueron tan felices y que era el hogar de su amada.
Así, hizo construir el pueblo a imagen y semejanza de su hogar, Vejer, con pequeñas callejuelas de trazado irregular y casas encaladas, pero sin olvidar las características de esa población bereber que les había acogido tan fielmente.
Para fomentar el crecimiento de este nuevo pueblo y para que se sintiese su amada aún más en casa, mandó un edicto donde daba la bienvenida a este recién nacido pueblo a los exiliados de Al –Ándalus.