钟楼始建于明朝洪武十七年，原址在广济街口。万历九年迁址到东西南北四条大街的交汇处，成为一做绾毂东西、呼应南北的轴心建筑。万历年间，关中地震道士高承之断言，有万年鳌鱼在地下作怪，于是知府将钟楼迁到现址震住妖孽作祟的穴口，从此西安天下太平，万民乐业。钟楼正面的楹联就反应了这段传说。
明王朝定都南京后，其间还有一次迁都之议。有大臣主张迁都西安，朱元璋曾有些心动，专门派太子朱标赴西安实地勘察，选择宫室基址，并绘制陕西地图进献。太子朱标从陕西回到南京后，呈献了陕西地图给父皇朱元璋，并详细介绍了西安的地理优势，认为：“举天下莫关中若也，天下山川惟秦地号为险固”，提议迁都西安 。但不久太子朱标英年早逝，此时朱元璋已经年迈，这位晚年丧子的老人心力憔悴，迁都之事不了了之，但西安钟楼已按照皇家建筑级别建成。
钟楼建成198年后，经历了一场整体搬迁。这次东迁是与西安城市发展的东扩有关，钟楼二楼西墙上，嵌有一方《钟楼东迁歌》碑，记述了这座巨大建筑整体迁移的过程。
钟楼初建时的位置在西大街以北广济街口的迎样观，与南北城门正对，是城市的中心。这一位置正在唐长安城的中轴线上，也是五代、宋、元时长安城的中心。然而，在其后的二百年间，西安城不断扩建，在原来的基础上，向东、向北各扩建了近四分之一的面积，随着城市中心东移，城门改建，新的东、南、西、北四条大街形成，位于迎祥观的钟楼便日益显得偏离城市中心。明神宗万历十年(1582年)，由巡抚御使龚懋贤主持，将钟楼整体迁移于今天的地址，成为一座绾毂东西、呼应南北的轴心建筑。