晋阳城位于汾水的西面，卡在天龙山与汾河之间的要道上。春秋末年，晋国上卿赵殃家臣董安于在军事地理位置十分优越的汾河西岸，构筑坚城，赵氏正是凭借关这座高大坚固的晋阳孤城，先后挫败范氏、中行氏和知氏、韩氏、魏氏的两次大规模的联合进攻，最终反败为胜，转危为安，其势力形成了后来的赵国，奠定了与韩、魏“三分晋室”的基础。
晋阳城屹立了一千五百余年，自其建成之后，就堵住了北方草原民族从河东南下侵掠的必经之路。除了中原内乱，这座北方的坚城从来都没有被从雁门关南下的草原民族攻破过，所以河东之地，很少受到战乱波及，人口密度一直在国内保持在前列。隋末唐国公李渊从晋阳起兵，最终建立大唐帝国，晋阳成为唐王朝有发祥之地。
唐代晋阳城几经扩建，并被封为北都，与京都长安、东都洛阳并称为三京，在唐朝时期晋阳的人口就达到了五十万之众，在国内属于仅次于长安的“一线城市”。受唐末战乱的影响，晋阳城目前拥有人口大约有二十万左右，却是居于国内之冠。
所以当年晋王李克用在丢掉了半个河东后，仍然能够凭借着太原盆地和忻代、云州三地，维持一定的兵马数量，与强大的梁国相抗，成为反梁势力中最为主要的一支力量。
实际上现在的晋阳城，并不是过去春秋时代赵国上卿董安于所建的晋阳古城，而主要是兴建于北魏和北齐时期，又经隋、唐两朝几经扩建而成。
北魏时期，权臣高欢在晋阳城外设“大丞相府”，大兴土木，于城西天龙山开凿石窟，并营造了规模宏大的避暑行宫。其后，高欢之子高洋取代北魏建立北齐，继续在高欢所建的晋阳行宫基础上进行大规模的扩建，北齐历时27年间，修建起了辉煌的晋阳大明宫。
其后，隋炀帝杨广又在这里大兴土木，继续扩大晋阳皇宫的规模，在北齐大明宫外筑成周长七里，高逾四丈的“新城”，其后又在新城西边筑起高四丈，周长8里的仓城。此外，隋炀帝在第一次北巡回到晋阳后还曾下诏重建北齐大明宫。并设晋阳宫监管理，有正监、副监各1名。
正因为晋阳城拥有如此宏大的规模，城墙高大坚固，在隋末唐初，突厥颉利可汗曾率二十万大军从雁门南下，然而围晋阳城将近一年不克，最终无奈退兵北返。
唐代贞观年间，并州长史李绩在汾河东岸新建了南北约八里半，东西约五、六里的东城，因为东城井水苦咸难饮，又建设了名为“晋渠”的横跨汾河直通东城的引水渠，从晋祠送去甘甜的难老泉水。周皇武则天年间，并州长史崔神庆“跨水联堞”，修建了连结东、西二城的中城。如此，这才形成了现在晋阳城的规模。
如今的晋阳城，横跨汾水两岸，东西长十七里，南北宽近八里，城中占地面积近三十平方公里。西接天龙山，东连五龙山，城墙高逾四丈，犹如一道巨大的屏障，将太原盆地北方的入口完全地给封闭隔绝了起来。
晋王府规模很大，紧挨着晋阳宫，这原是唐代的晋阳皇宫所配属的东宫建筑群。晋阳宫是唐代仅次于长安大明宫、洛阳皇宫外，李唐皇室最大的行宫所在，而且由于没怎么遭受过唐末战争的破坏，保存得相对十分完整。已历千年之久的晋阳宫规模宏大，虽然归李克用管辖，但是晋王李克用却不愿撍越，搬进晋阳宫内居住，只占据了这片属于唐代东宫太子府的建筑群来作为自己的王府。