靖江王府自洪武五年以元顺帝潜邸改建后，时隔二十一年，即洪武二十六年(公元1393年)，有旨命徐溥等人重新修造王府。一是因朱守谦就藩桂林仅三载，就被召还京师，直到洪武二十五年死，他都没有回到藩国，以至王府长达十二年无主居住，时逢新王受封，有着新王新居的用途。二是初建时当立国之初，国力薄弱，王宫建筑未免因陋就简，而需改建。
王府早期还算朴实，但是明代中期以后，情况就不同了。嘉靖五年至七年(公元 1526～1520xx年)恭惠王朱邦苎于宫西建起了懋德堂，万历年间又复多鼎建，如独秀峰下有宝善堂、尊乐堂、拱新亭、山月亭、绿竹轩。峰上有玄武阁，观音堂。月牙池畔有乐山、探奇、瞻云三个景点，以备清眺。王府的建筑就十分可观了。清顺治七年(公元1650年)，定南王孔有德平定广西并驻节靖江王府，所以史籍上又把靖江王府称之为定南王府。顺治九年李定国攻占桂林，孔有德放火自焚，王府变成一片瓦砾。顺治十四年，改定南王府为贡院。端礼门的三拱门改为单拱门，这大概是为适合贡院现制的结果。其上重建门楼，称“景幅楼”。宣统期间，贡院东侧改作初级师范学堂校址，西侧改作模范小学堂校址，同时，在独秀峰下设咨议局，在城内东南角增建广西图书馆。
民国十年，孙中山先生北伐督师桂林，设总统行辕于王府，指挥北伐。1944年桂林沦陷，贡院的建筑同整个城市一样，被化为焦土。