西晉“八王之亂”后，進(jìn)入中原的羯、鮮卑、氏、羌等少數(shù)民族相繼建立政權(quán)，使北方出現(xiàn)從東晉開(kāi)始到隋統(tǒng)一，此起彼伏的十六國(guó)爭(zhēng)斗近三個(gè)世紀(jì)的南北對(duì)峙局面。期中，十六國(guó)時(shí)北方的第一個(gè)少數(shù)民族匈奴漢國(guó)政權(quán)和南北朝時(shí)統(tǒng)一北方的鮮卑拓跋族政權(quán)都是建都于山西境內(nèi)的，而中原則成為民族戰(zhàn)爭(zhēng)的主戰(zhàn)場(chǎng)之一。

匈奴漢國(guó)的滅亡  晉惠帝永安元年(304)，居住在汾河流域歸附司馬穎集團(tuán)的匈奴北部都尉劉淵趁“八王之亂”招集五部匈奴，擁兵5萬(wàn)，在左國(guó)城(今離石縣)自稱(chēng)漢王，建立以反晉為號(hào)召的漢國(guó)，并擊敗并州刺史司馬騰，相繼占領(lǐng)大陵(今文水縣)、泫氏(今高平縣)、屯留(今長(zhǎng)子縣)、中都(今平遙縣)、平陽(yáng)。晉永嘉二年(308)，劉淵正式稱(chēng)帝，遷都平陽(yáng)(今臨汾市西南10公里的金殿鄉(xiāng))。建立了十六國(guó)期間北方第一個(gè)少數(shù)民族政權(quán)的建立。永嘉四年，劉淵死。其第四子劉聰殺太子劉和自立。晉建興四年(316)，劉聰部攻克長(zhǎng)安，遷晉愍帝于平陽(yáng)，滅西晉。此時(shí)劉漢政權(quán)達(dá)到鼎盛時(shí)期，所能控制地盤(pán)“東不過(guò)太行，南不越嵩洛，西不逾隴坻，北不出汾晉”。劉聰殘暴荒淫，動(dòng)輒誅殺，加之無(wú)休止的戰(zhàn)爭(zhēng)，使人民無(wú)法生產(chǎn)，造成人為大饑荒，史載劉聰稱(chēng)帝年間“平陽(yáng)大饑，流叛死亡十有五六”。東晉大興元年(318)，劉聰死于茺淫，子劉粲繼位，荒淫勝于乃父，當(dāng)年即被大司空靳準(zhǔn)發(fā)動(dòng)叛亂殺死。劉淵所建匈奴漢國(guó)至此滅亡。

后趙對(duì)山西的統(tǒng)治晉永嘉元年(307)，西晉政權(quán)任劉琨為并州刺史。 晉永嘉二年(308)，劉淵稱(chēng)帝立匈奴漢國(guó)后，便開(kāi)始了對(duì)并州晉陽(yáng)的進(jìn)攻；永嘉四年，匈奴漢國(guó)署石勒為并州刺史，并州境內(nèi)形成兩個(gè)刺史長(zhǎng)期對(duì)峙割據(jù)局面。永嘉五年，劉聰部攻陷洛陽(yáng)浮晉懷帝不久，對(duì)晉陽(yáng)發(fā)動(dòng)進(jìn)攻。此后，匈奴漢國(guó)劉聰部及其石勒等所附勢(shì)力與受晉愍帝詔令的劉琨部及其所附勢(shì)力，在山西境內(nèi)爭(zhēng)戰(zhàn)不休。建興二年(318)，石勒誘殺王浚，占有了幽、冀二州；東晉大興元年(318)，石勒趕走劉琨；同年，石勒又滅靳準(zhǔn)，奪取平陽(yáng)。大興二年，石勒自稱(chēng)趙王。東晉咸和三年(328)，石勒滅劉曜(都長(zhǎng)安)，又滅趙國(guó)(史稱(chēng)前趙)。咸和五年，石勒稱(chēng)皇帝，建都襄國(guó)，史稱(chēng)后趙。自此，石勒與東晉以淮水為界，初次形成南北對(duì)峙局面。而山西全境亦在后趙統(tǒng)制之下，暫得平靜。

前燕、前秦、西燕、后燕逐鹿山西  東晉永和八年，鮮卑滅魏國(guó)。永和九年，鮮卑族慕容雋稱(chēng)皇帝，立燕國(guó)(史稱(chēng)前燕)，遷都于鄴(今河北臨漳)，統(tǒng)一北方。前燕統(tǒng)治期間，在長(zhǎng)安稱(chēng)帝,立國(guó)號(hào)為秦(史稱(chēng)前秦)的氐族苻健逐漸強(qiáng)大起來(lái)。東晉太和五年(370)，前秦帝苻堅(jiān)率兵六萬(wàn)進(jìn)攻前燕并乘勝攻陷鄴都，滅前燕。東晉咸安元年(371)，前秦又滅仇池氐族楊氏政權(quán)，并相繼滅前涼張氏，東晉太元元年(376)又滅鮮卑族拓跋部代國(guó)。于是，中原全境置前秦統(tǒng)治之下，同東晉政權(quán)遙相對(duì)峙。

東晉太元八年(383)，前秦與東晉戰(zhàn)于淝水，前秦大敗。太元九年，歸降前秦的前燕貴族慕容泓、河?xùn)|平陽(yáng)太守慕容沖起兵向前燕挑戰(zhàn)。慕容沖攻蒲阪失利，轉(zhuǎn)戰(zhàn)陜西，在阿房(今陜西西安市)稱(chēng)帝，后遷都長(zhǎng)子（即今長(zhǎng)子縣西）是為西燕。太元十九年慕容沖部攻破長(zhǎng)安，苻堅(jiān)被后秦姚萇殺死，苻堅(jiān)之子苻宏投奔東晉，前秦滅。此后，慕容貴族間又展開(kāi)一段王位爭(zhēng)奪戰(zhàn)，同時(shí)又有慕容貴族與前秦殘留部隊(duì)的戰(zhàn)爭(zhēng)，戰(zhàn)火延及今山西境內(nèi)的襄陵(今襄汾縣北)、長(zhǎng)子、壺關(guān)(今長(zhǎng)治市西南)、臺(tái)壁(今黎城縣西南)、天井關(guān)(今晉城市南)等地。東晉孝武帝太元十九年，長(zhǎng)子鎮(zhèn)將大逸豆歸開(kāi)城投降后燕，西燕帝慕容永被殺。西燕所轄八郡盡為后燕慕容垂吞并。

北魏建都平城統(tǒng)一中原西晉建興二年(314)，晉愍帝加封鮮卑拓跋部猗盧為代王，立代國(guó)，猗盧亦逐步向四鄰擴(kuò)展，擁有了北部山西的大部分河山。東晉太元元年(376)，前秦苻堅(jiān)遣兵20萬(wàn)滅代國(guó)。太元十一年，拓跋珪在代國(guó)舊址定襄之盛樂(lè)(今內(nèi)蒙古和林格爾縣)重建代國(guó)。同年四月，拓跋珪改國(guó)號(hào)為魏(史稱(chēng)北魏)，稱(chēng)魏王，年號(hào)登國(guó)，著手參與中原兼并戰(zhàn)爭(zhēng)。

皇始元年(396)七月，拓跋珪改元稱(chēng)帝。八月，拓跋珪率40萬(wàn)將士，南出馬邑(今朔州城西北隅)，越句注山(今代縣境內(nèi))進(jìn)攻后燕，九月下晉陽(yáng)平并州，十月取常山(今河北正定縣)以東廣大地區(qū)，皇始二年正月克信都(今河北冀縣)，十月陷中山(今河北定縣)，天興元年(398)奪鄴都，滅后燕。 

天興元年(398)七月，拓跋珪遷都平城。此時(shí)，北魏所轄地區(qū)，“東至代郡，西及善無(wú)，南及陰館，北盡參合陂，皆為畿內(nèi)”，“四方八維置八部帥以監(jiān)之”。

天興二年(399)至五年，拓跋珪又破高車(chē)、后燕余部及匈奴、柔然等部，獲部眾14萬(wàn)、馬牛羊數(shù)百萬(wàn)。拓跋皀把降附部落居民全部?jī)?nèi)遷平城附近。天興五年十月，還破后秦姚興，俘其余眾3萬(wàn)余人。天興六年正月，又有朔方尉遲部別帥萬(wàn)余家內(nèi)屬，皆入居云中。自此，并州成為北魏長(zhǎng)驅(qū)中原的重要軍事基地。

北魏天賜六年(409)，宮闈內(nèi)亂，拓跋皀被子拓跋紹殺死，太子拓跋嗣繼位。拓跋嗣繼位后，北魏地盤(pán)有所開(kāi)拓，占據(jù)并州、河南、河北和山東大部分土地，在北方兼并戰(zhàn)爭(zhēng)中取得了優(yōu)勢(shì)。北魏泰常八年(423)，拓跋嗣卒，其子拓跋燾繼位。

鹿拓跋燾繼位后，北魏神二年(429)，從平城起兵遠(yuǎn)征柔然，獲降者十萬(wàn)余落、牛羊馬百余萬(wàn)，皆徙于濡源(灤河之源頭，灤河舊稱(chēng)濡水)至陰山間3000余里的土地上，讓他們耕收納貢，緩和了北邊局勢(shì)。神三年，滅西夏國(guó)，平定關(guān)中、涼州。太延四年(438)，滅北燕。太延五年平定北涼。在此前后，西域的龜茲(今新疆庫(kù)車(chē)一帶)、疏勒(今新疆喀什市)、鄯善(即新疆若羌縣)等十六國(guó)派使者向北魏入貢。高勾麗(今朝鮮境內(nèi))、吐谷渾(今青海境內(nèi))向北魏稱(chēng)藩。至此，拓跋燾結(jié)束了自劉淵建立匈奴漢國(guó)以來(lái)135年的十六國(guó)分裂局面和連年大規(guī)?；鞈?zhàn)局面，確立了北魏在中原的統(tǒng)治地位，形成了與劉宋(公元420年，劉裕廢東晉恭帝登基，國(guó)號(hào)宋，史稱(chēng)劉宋)南北對(duì)峙的局勢(shì)。

延興元年(471)，元宏繼位，是為魏孝文帝。魏孝文帝在北魏都平城期間，與馮太后一道進(jìn)行了“平城改制”，改制內(nèi)容主要為：一是改班賜制為百官俸祿制，二是改計(jì)口授田為均田制(主要宗旨是按農(nóng)民人數(shù)與官吏等級(jí)分配無(wú)主荒地)，三是改宗主督護(hù)制為三長(zhǎng)制。這些改革措施為孝文帝在洛陽(yáng)推行全面漢化和北魏的民族大融合奠定了基礎(chǔ)。

太和十七年(493)，北魏孝文帝出于南北戰(zhàn)爭(zhēng)需要等原因，遷都洛陽(yáng)。

爾朱氏、高歡坐鎮(zhèn)晉陽(yáng)操持北魏、東魏，北魏在洛陽(yáng)經(jīng)營(yíng)30余年，至北魏孝明帝正光五年(524)，發(fā)生六鎮(zhèn)起義，接著各路軍閥紛紛趁機(jī)起兵作亂。北魏游擊將軍爾朱榮在鎮(zhèn)壓六鎮(zhèn)起義過(guò)程中，趁機(jī)進(jìn)軍洛陽(yáng)，發(fā)動(dòng)河陰之變，控制了北魏政權(quán)。從此，被魏孝莊帝加封為柱國(guó)大將軍的太原王爾朱榮，坐陣晉陽(yáng)，遙控洛陽(yáng)，成為北魏政權(quán)的實(shí)際操持者。永安三年(530)八月，魏孝莊帝在洛陽(yáng)誘殺爾朱榮，手握北魏各路重兵的爾朱氏族人紛起作亂。坐鎮(zhèn)汾州(治所在今隰縣)的爾朱兆(爾朱榮從子)首先起兵占據(jù)晉陽(yáng)，繼爾與爾朱世隆合兵長(zhǎng)子，共推原太原太守、長(zhǎng)廣王元曄為帝，改元建明。同年十二月，出兵太行山，沖入洛陽(yáng)，俘魏孝莊帝至?xí)x陽(yáng)而殺。元曄授爾朱兆柱國(guó)大將軍，都督十州諸軍事，世襲并州刺史。

北魏普泰元年(531)，第三鎮(zhèn)人酋長(zhǎng)、晉州刺史高歡叛離爾朱氏。永熙元年(532)，高歡在韓陵山(今河南安陽(yáng)市東北)擊敗爾朱氏聯(lián)軍20萬(wàn)；接著，高歡乘勝進(jìn)軍洛陽(yáng)，廢節(jié)閔帝元恭及中興主元朗，立孝武帝元修。孝武帝封高歡為大丞相、天柱大將軍；同年七月，高歡北伐朱爾兆。永熙二年正月，爾朱氏政權(quán)徹底垮臺(tái)。高歡取得并州后，在晉陽(yáng)建大丞相府，同時(shí)把三州六鎮(zhèn)鎮(zhèn)民從鄴城遷至?xí)x陽(yáng)，設(shè)三州僑置州郡。僑置恒州于肆州(州治九原，今忻州)之秀容郡(今原平市西南)，僑置燕州于并州境(今壽陽(yáng)縣)，僑置云州于并州受陽(yáng)縣(今文水縣東)。又把六鎮(zhèn)改置為朔、顯、蔚三州，僑置朔州于并州界內(nèi)，僑置顯州于汾州之六璧城(今孝義縣西南)，僑置蔚州于并州鄔縣界(今平遙縣西北)。從此，三州六鎮(zhèn)鮮卑改為六州鮮卑。高歡則把六州鮮卑作為主要力量，晉陽(yáng)作為大本營(yíng)，演起遙控洛陽(yáng)故技。永熙三年七月，高歡率兵入洛陽(yáng)，殺朝內(nèi)大臣，不甘作傀儡的魏孝武帝出奔長(zhǎng)安。十月，高歡立清河王世子元善見(jiàn)為帝，改元天平，遷都鄴都，建立東魏。同年閏十二月，大將軍、雍州刺史宇文泰在長(zhǎng)安毒殺魏孝武帝，立南陽(yáng)王元寶炬為帝，是為西魏文帝。從此北魏一統(tǒng)中原局勢(shì)結(jié)束，開(kāi)始東、西魏對(duì)峙。高歡坐鎮(zhèn)晉陽(yáng)操政16年。高歡死，東魏武定八年(550)，其子高洋廢東魏自立，建北齊。