西元前兩百年，柏柏人遭羅馬人統治。西羅馬帝國滅亡時，柏柏人又於許多地區獨立，同時汪達爾掌管了其他地區，一直到被拜占庭帝國皇帝查士丁尼一世驅逐為止。拜占庭帝國維持對國土西部的統治，並持續到七世紀阿拉伯帝國的興起。