明代以前,县治屡迁,均不在今址。明成化十三年(1477)始定今址。十四年(1478),知县杨豫谋划修筑城垣,成化二十三年(1487)十月至弘治元年(1488)三月由知县马宗仁修筑门堞和城池。清康熙、道光年间,知县林逢泰、刘德求分别补葺,后经风雨残蚀,崩毁不一。至同治初,知县郑豫泰、况翰、罗重熙、姜桐冈均予补修。
城周五里五分,北倚山,南临河,左涧右溪。城墙高三丈五尺,基宽二丈五尺,池深一丈,有东西南北四门,每门之上建有城楼,知县秦渠为四门取名,东门“宾阳”,西门“志岐”,南门“凝薰”,北门“拱辰”,城内有县衙、学宫等。民国时期,城区建设规模有所发展。旧城墙年久失修,倒塌破损,县府多次补修加固。解放战争中,国民党军队据城、塔、庙为堡,与人民解放军对垒,导致城墙及其它古建筑毁坏严重。建国时,县城内总建筑面积1.6万平方米。至50年代,旧城墙逐年毁除,现仅余北面依山的部分城基。
今县城与旧时同,仍沿汃水顺川而建,规模较昔扩大。东起安仁村,西至小塔村,南临汃河岸边,分别超出原城1.5公里、1.3公里、0.3公里,总面积4.5平方公里。城区驻城关镇人民政府及其东关、西关、小塔3个村民委员会,现有人口12300人,其中农业人口4900人,居民4500人,有国家职工干部2900人,日流动人口1500~2000人次。1976年,县城建部门对城区进行了全面测绘,编制了规划,今城区依照规划,合理布局,街巷、照明、给水、防洪、卫生、绿化等公共设施的建设,均有较大发展,为建国前各代远不能及。