古为羌地，汉时州境东部为先零卑禾等人部落活动范围，西部属“羌”族牧地。唐时隶属吐蕃腊城节度使至宋代。元代，西北地区为甘肃行省沙州路辖区，其余大部分地区为宣政院所属吐蕃等处宣慰司辖区。明初，定为安定、阿端、曲先、罕东四卫地，由西宁卫兼管。这里是和硕特蒙古的地方，清雍正三年，编定青海蒙古左右两翼盟29旗，州境划定9个蒙古旗，统归“钦差办理青海蒙古番子事务大臣”管辖。民国元年海西地区隶属青海省办事长官。民国19年（1930）改都兰理事为都兰县，辖今海西州全境，直隶青海省政府。

　　1949年9月青海解放。同年11月成立都兰县人民政府（驻地察汗乌苏），辖今海西州全境，直隶省政府。1952年9月26日，撤销都兰县，设立县级“都兰蒙藏哈萨克族自治区”（驻地察汗乌苏）。

　　1954年1月25日设立海西蒙藏哈萨克族自治区，自治区人民政府驻都兰蒙古族自治区察汗乌苏。辖都兰蒙古族自治区（由原都兰县自治区部分地区设置，相当于县级）、天峻藏族自治区（由原都兰县自治区部分地区设置，驻唐乃亥。相当于县级）、阿尔顿曲克哈萨克族自治区（1953年12月原都兰县郭里峁哈萨克族自治区改称阿尔顿曲克哈萨克族自治区，驻格尔木，相当于区级）。

　　1955年12月12日，海西蒙藏哈萨克族自治区改设海西蒙藏哈萨克族自治州，自治州人民委员会驻都兰县察汗乌苏。原都兰蒙族自治区改设都兰县（驻香日德镇），原天峻藏族自治区改设天峻县（驻热那亥）。同年10月23日建立格尔木临时工作委员会，驻格尔木，属柴达木工作委员会领导。海西蒙藏哈萨克族自治州辖2县及阿尔顿曲克哈萨克族自治区（由自治州直辖的区级行政单位）。

　　1956年设立德令哈临时工作委员会，驻巴音河；海西蒙藏哈萨克族自治州辖2县、1工作委员会。1958年撤销德令哈临时工作委员会，改设德令哈县；同年11月设立县级的茶卡工作委员会，领导原属都兰县的茶卡和南柯柯、北柯柯、王家、希里沟4乡。茶卡工作委员会驻希里沟，属海西蒙藏哈萨克族自治州领导；海西蒙藏哈萨克族自治州辖3县、1工作委员会。

　　1956年设立柴达木盆地工作委员会，驻大柴旦。辖茫崖、格尔木、唐古拉山（驻温泉）、马海4工作委员会。1957年撤销柴达木盆地工作委员会，改设柴达木盆地行政委员会，仍辖茫崖、格尔木、唐古拉山（驻温泉）、马海4工作委员会。1958年柴达木盆地行政委员会改名为柴达木行政委员会。

　　1959年海西蒙藏哈萨克族自治州人民委员会与柴达木行政委员会驻大柴旦合署办公。撤销茶卡工作委员会，改设乌兰县（驻希里沟）；设立县一级的冷湖市临时工作委员会（驻冷湖）。都兰县驻地由香日德镇迁察汗乌苏；天峻县驻地热那亥改名新原；茫崖工作委员会由茫崖迁驻油砂山；唐古拉山工作委员会迁托托河沿。