四五千年以前,神木已有人类定居。夏时,县境属雍州地,为熏育族占据,商朝为鬼方地,西周时为 ;狁族占据,春秋时县境为白狄故地,战国时属魏国上郡。
秦始皇统一中国后,在县境设置了新秦县,属九原郡管辖。汉元朔二年(前127),置五原郡。元狩三年(前120)又置朔方郡,称新秦中。后又在秃尾河下游置 言阳、言阴、鸿门3县,属西河郡;秃尾河上游置白土县,属上郡。三国、西晋时,为羌胡占据;东晋十六国,先后为后赵、前秦、后秦、夏政权属地。南北朝时,北魏在今解家堡一带置石城县,后改为银城县,属上郡管辖。唐开元12年(724)始置麟州(在今杨家城),领属新秦(今杨家城)、连谷(今黄羊城)、银城(今解家堡一带)。南宋时,因城外有神松3株,遂改名为神木寨,先后被金、夏占有。元初置云州于神木寨,至元6年(1269)废州设神木县,一直沿用至民国初年。
1936年,红色政权神府特区抗日人民革命委员会成立,统辖神木县城以南及府谷县、佳县、榆阳区的部分地区,与国民党统治的神木县并存。1937年,神府特区抗日人民革命委员会改为神府特区苏维埃政府,同年10月神府特区苏维埃政府改为神府县政府,与国民党统治的神木县同时存在。1947年9月,神木县城解放,新的神木县政府成立,与南乡神府县政府并存。1950年撤销神府县,辖地归榆阳、神木、府谷3县。1958年将府谷县并入神木县,1961年神木县又分为神木、府谷两县,同属榆林市直到现在。