汉代，阿拉善地区分属北地、武威、张掖三郡管辖。汉武帝太初三年（公元前102年），征发兵卒18万到河西戍边屯田，北置居延、休奢两县。汉宣帝本始元年（公元前73年），居延县隶属张掖郡管理。东汉光武帝元年（25年），改置“张掖居延属国”。东汉献帝兴平二年（195年），设西海郡，辖居延一县。 魏晋南北朝时期，魏国和西晋续设西海郡。北魏时，阿拉善地区为凉州所辖，北魏道武帝登国元年（386年），氐族人吕光建立后凉政权，领居延县。北魏孝明帝正光二年（521年），居延古都属柔然婆罗门领地。

隋朝至唐代初期，阿拉善地区属甘州、肃州，也曾为突厥贵族所据。唐朝垂拱二年（686年），唐王朝一度曾将“安北都护府”从漠北迁至漠南，都护府治所在同城，即今额济纳旗境内。唐玄宗天宝二年（公元743年），唐王朝设宁寇军，统领居延军务。“安史之乱”时，河西走廊被吐蕃切断，居延地区成为长安通往西域的“草原丝绸北道”。之后，居延地区先后为吐蕃、回鹘、契丹所部占据。