山西大学的古称是山西大学堂。
1903年，根据清政府颁布的《奏定学堂章程》须设有三科方能称为大学的规定，其他各省都遵章将学堂改为高等学堂，全国仅有京师大学堂、北洋大学堂、山西大学堂称大学堂，山西大学堂早在1902年就已经诞生。
1931年国立山西大学改名为山西大学。1937年11月8日，日寇占领太原。次年春，日本侵略军继续南犯，山西大学的所有校产在战火中荡然无存，学校师生们分散四方，学校被迫停止办学。抗日战争期间，山西大学在晋南、陕西三原、秋林等地辗转办学。
1939年，山西大学复校。1945年，日本无条件投降。教育部和山西省政府下命令，山西大学准备东渡返回太原。
1959年，山西大学恢复建制，是中国最早在联合国注册的高校之一。
1961年，山西师范学院并入新建的山西大学，校名仍定为山西大学。
1962年，山西体育学院、山西艺术学院并入。
1998年，成为山西省重点大学。
2002年5月，学校举行建校100周年庆典大会。时任联合国秘书长安南发来贺信，感谢山西大学对联合国的支持。
2005年，成为山西省人民政府与教育部共同建设的省部共建大学。
2011年，正式成立研究生院。
2012年，成为“中西部高校基础能力建设工程”重点建设大学，同年11月成为国家“中西部高校综合实力提升工程”（一省一校）14所入选高校之一。
