汉代，阿拉善地区分属北地、武威、张掖三郡管辖。汉武帝太初三年（公元前102年），征发兵卒18万到河西戍边屯田，北置居延、休奢两县。汉宣帝本始元年（公元前73年），居延县隶属张掖郡管理。东汉光武帝元年（25年），改置“张掖居延属国”。东汉献帝兴平二年（195年），设西海郡，辖居延一县。 魏晋南北朝时期，魏国和西晋续设西海郡。北魏时，阿拉善地区为凉州所辖，北魏道武帝登国元年（386年），氐族人吕光建立后凉政权，领居延县。北魏孝明帝正光二年（521年），居延古都属柔然婆罗门领地。

“阿拉善”是贺兰山的音转，贺兰山名源于匈奴族贺兰部在此住牧，阿拉善因贺兰山而得名。阿拉善地区是远古人类的发祥地之一，据考古证实，旧石器时代今阿拉善盟额济纳旗就有人类存在。旧、新石器过渡的代表—细石器文化的赋存和发现，进一步证明古居延地区是东、西石器文化的连接点。新石器、青铜、铁器时代，历代北方游牧民族在贺兰山、曼德拉山、龙首山等处刻制了数以万计的古代岩画，成为研究古代游牧民族早期宗教信仰、生活习俗和经济生活的重要实物资料和珍贵的文化遗产。