一般认为，图阿雷格人的祖先是北非的柏柏尔人。阿拉伯人征服北非后，当地的柏柏尔人逐渐成为伊斯兰教徒。但是，柏柏尔人仍然时常与阿拉伯人发生冲突，并逐步建立了多个柏柏尔人伊斯兰政权。为了对付柏柏尔人势力，北非的阿拉伯人号召当时还在阿拉伯半岛老家的阿拉伯人移民北非。在阿拉伯移民的劫掠性冲击下，很多柏柏尔人无家可归，成群结队地流落进撒哈拉沙漠。这些流落进撒哈拉沙漠的柏柏尔人各自发展，逐渐形成了新的独特的群体，图阿雷格人就是其中一支。
女人才是这里的主宰
在图阿雷格人看来，他们的起源并不是这么回事。根据图阿雷格人的传说，他们的真正祖先是一个名叫希娜纳的女王。有一次，女王在女仆塔卡玛特和一些男奴的陪伴下，前往撒哈拉沙漠里的某个地方。但是在途中，她们的粮食和水用光了，饥饿和干渴袭来，很快就将夺取她们的生命。忠诚的女仆塔卡玛特为了挽救女王，拖着疲惫的身躯四处寻找食物和水源。终于，塔卡玛特在一个蚁穴找到了粮食。
女王和随从们得救了，她们继续前进。最后，女王抵达了目的地。在那里，女王和女仆与当地人结婚，女王生下了一个女儿，女仆生下了两女儿。正是这三个女孩繁衍了第一代图阿雷格人。据说，女王将死时，要人给她挖好墓穴，然后她穿好衣服，戴上首饰，跳了进去。1925年的时候，一支美国的考古队根据传说找到了坟墓，并进行发掘，竟然真的发现了一具完好的女性尸骸以及很多随葬品。通过上述传说，不难想象为什么在图阿雷格人那里女性地位高于男性，实际上他们从一开始就是一个女权社会。
这里的男人戴面纱
这里的女子实在是很漂亮的，孩子们属于母亲方面的种族姓，而不属于父亲的姓。并且父亲不是小孩的男性血亲，而母系的一个兄弟才是。孩子从一个舅舅那里继承下来，而不是从他们的父母那里继承下来。
妇女们可以不带面纱高兴地四处游逛，而男人却必须从18岁起，就在他们脸上罩着一块叫“利萨姆”的蓝布面纱，仅留下眼睛和鼻梁没有遮起来，如果可以看见他的鼻尖，他就被认为装束不当，而受到人们的冷眼。面纱即使在吃饭时也不得揭去，用勺子从它下面送进嘴里。现在这一风俗并不像过去那样生硬地照办了，可以在一些场合下见到：一些男人为了吃饭方便而把他们的面纱拉至下颌处，甚至可以看到一些男人在众人面前换面纱。
图阿雷格人是世界上唯一的男人外出时带面纱的民族。由于自然原因，这里风沙较多，在沙暴时，脸上遮上块面纱是很好的。现在有一种流行的说法是：如若一个将要死的武士不遮住他的面孔，灵魂就会逃掉，因为灵魂会从鼻、口逃出去。另一个这样的传说中讲道，没有面纱的男人注定要成为恶鬼的。现代的图阿雷格人也不知道怎样解释，他们只认为，不带面纱给人看见是不适当的。尽管如此，这一旧风俗，在一些年轻人身上已失去了过去的威力，而露出面孔也不怎么要紧了。
面纱之于图阿雷格人的意义可以从两个例子体现出来。一个是，决不能揭起图阿雷格男人的面纱。面纱被揭起，对图阿雷格男人自己来说是羞耻，对揭面纱的人来说则意味着死亡。另一个例子是说，如果在作战中一个图阿雷格人死了，他的面纱也掉了，那么他的同伴——即使是最亲密的同伴——在收尸时，只有将面纱重新蒙上才能确认死者到底是谁。