中国早期文明中的尧和舜，活动的地域范围都和今天的山西南部一带有关联。在山西省临汾市发掘的陶寺遗址，一些学者认为就是帝尧的都城所在地，而今天的临汾市区，最重要的也是唯一的市辖区就叫“尧都区”。传说帝舜曾在历山耕田，历山就在今天的山西省晋城市境内。这样看来，早在四千多年前，山西就曾是中华文明的中心地区之一。
春秋时期，周天子势力衰微，中国历史进入了诸侯争霸时期。主要领土范围在今天山西省的晋国，是春秋时期最重要的霸主。晋文公是春秋时期继齐桓公之后的第二位霸主，晋文公之后，在经历了楚国的短暂称霸之后，晋国继续称霸中原很长时间。整个春秋时期，因为晋国的存在，秦国东扩的企图始终未能得逞，楚国也始终未能对中原形成绝对优势。可以说，春秋时期，晋国是最为强大的霸主。
汉代时期，山西南部属于河东郡，作为号称“天下之中”的“三河”之一，人口稠密，经济文化繁荣，战略地位十分重要。魏晋南北朝时期，山西成为北方少数民族势力南下的前沿之地，经历了数百年的大混战，大大小小的割据政权走马灯似的换了一拨又一拨，山西的人口和经济遭受到极大的破坏。
明朝初期，山西由于相对闭塞的地形，在元末战争中保持了相对的稳定，再次成为一个人口稠密、经济繁荣的地区。明朝统一之后，山西因为人口稠密，开始大规模向外省移民，这样的移民规模相当大，对后世的影响也极大，产生了“大槐树”的传说。而从明朝开始，“晋商”作为中国历史上最著名的商人群体之一，开始发展壮大，对明清中国商业史产生了重要影响。
辛亥革命以后，阎锡山控制了整个山西，在列强侵略、军阀混战的时代，山西由于地形的封闭，以及阎锡山的强势掌控，再一次在乱世保持了相对的稳定。抗日战争时期，山西成为国共合作抗击日军的主战场，以及八路军的主要活动地区，为抗击日军发挥了重要的作用，使得日军始终未能完全占领山西，更无法向更西的地区推进。
新中国成立后，山西由于丰富的煤炭资源，被规划为一个能源基地和重工业基地。由于长期采掘煤炭，山西省很多地方已经被掏空。而因为长期以来过度依赖煤炭和钢铁等重工业，经济结构单一，当煤炭和钢铁进入低谷时，山西一时难以调头，产业转型困难重重，经济形势进入寒冬期。2015年，山西省的人均GDP仅为3.5万元，远远低于全国平均水平的4.94万元，在内地31个省市区中，排名第27位，经济增长率为3.1%，为全国倒数第二。就今年的形势来看，山西要想尽快走出困境，仍然十分艰难。
山西靠煤矿发家致富，而其他行业却没有优势，煤矿过度开采后，便无计可施，这是山西必须要解决的一个问题。