据史料记载,夏商时,榆林市的部分地方(神木、府谷、佳县等地)在雍翟族境内,周代为雍州白翟的一部分,战国时为秦国上郡地。公元前221年秦统一六国,始皇分天下为三十六郡,上郡是其中一个。
三国时期,上郡、西河郡为匈奴占据,未设置郡县。东晋时期,匈奴王赫连勃勃在统万城(今靖边白城子)建立大夏国。公元427年,北魏灭大夏,设立统万镇,太和十二年(公元488年)改设夏州。
隋开皇三年(公元583年),仍设夏(治统万)、长(治长泽,今靖边境内)、绥(治龙泉、今绥德县城)、银(治儒林,今横山境内)四州;大业元年(公元605年)将绥州改称上州,三年撤销州制,设立朔方、雕阴二郡。
隋末唐初,本市为地方豪族梁师都占据, 自称梁国,潜皇帝位。贞观二年师都被灭,唐复设银、绥、夏三州,均属关内道管辖。开元十二年(公元724年)在本区东北部增设麟州(治所今神木杨城)。天宝元年(公元742年)撒州设上郡(今绥德)、银州郡(今党岔)、朔方郡(今白城子)、新秦郡(今、杨城)。乾元元年(公元758年)撤郡,复设绥、夏、银、四州。元和十五年(公元820年)宥州治所由内蒙鄂托克旗迁到今定边境内。后唐庄宗李存勖以府谷县升州(今之府谷)。
五代时期州县设有夏州(领朔方、德静、宁朔三县,均在今靖边境内)、银州(领真乡、开光、儒林三县,在今米脂、佳县境内)、麟州(领新秦、连谷、银城,在今神木境内)、府州(今府谷)、绥州(领绥德、龙泉、延福、城平、大斌五县,在今绥德、清涧、吴堡、子洲境内)。
北宋时,榆林市属永兴军路(初名陕西路),绥州、宥州被西夏占据,未设郡县,熙宁三年(公元1070年)收复,元符十年(公元1096年)后,得失无常。宋高宗南渡后,又沦为金有,属鹿延路的一部分,设绥德州、晋宁军(佳芦砦),大定二十二年(公元1182年)撤军设绥德州、晋宁州(二十四年改佳州)。元代绥德州、佳州属延安路,绥德州领清涧、米脂二县,佳州领神木、府谷二县。明成化七年(公元1471年),在长城一带设置榆林卫,孝宗弘治十八年(公元1505年)九月设立东路神木道,领佳州、府谷、神木三州县,中路榆林道领绥德、米脂、清涧、吴堡四州县,西路靖边道领保安(今志丹)、安定(今子长)、安塞三县,包括榆林市的定、靖、横三县。
清雍正年间,设有榆林府和绥德直隶州两个省辖行政区。辛亥革命后,1913年废府州制度,设榆林道。后又废道,各县由省直辖。中央红军到达陕北,1937年陕甘宁边区政府成立,本市除榆阳区外,各县先后解放,在原苏维埃政权的基础上建立人民政府,设置绥德、三边两个分区,分别管辖绥德、米脂、佳县、横山、清涧、吴堡和靖边、定边、安边(后撤销)。1944年1月10日从绥德、米脂、清涧、横山及延属分区的子长五个县各划出一部分成立子洲县,属绥德分区。当时,神木、府谷之东区设神府特区,归晋绥边区管辖。1949年6月1日榆林城和平解放,撤销三边分区,设榆林分区,管辖榆林、定边、靖边、横山、神木、府谷六县。1950年5月成立绥德、榆林两个专区。1956年10月撤销绥德专区,将所辖绥德、米脂、佳县、吴堡、清涧、子洲六县并入榆林专区,子长、延川并入延安分区。
1958年将十二县并为榆林(横山)、神木(府谷)、靖边、定边、绥德(吴堡、清涧、子洲)、米脂(佳县)六县。1961年所并各县恢复原制。1968年将榆林专员公署改为榆林地区革命委员会,为一级政权机构。1979年改为榆林地区行政公署,为省人民政府的派出机关。1988年9月2日,榆林县改为县级榆林市。2000年7月1日,榆林地区行政公署撤销、设立地级榆林市,原县级榆林市改为榆阳区。