民国二十年(1931),本县在岳庙东街成立华阴县民众教育馆,馆长杨性天、严哲儒。向群众开展书报阅览等项活动。
1949年6月,华阴县新华书店成立,兼管民众教育馆工作,地址在岳庙东街路北,时仅有门面房两间,作阅览室,院内有厅房3间,供干部办公宿舍用。后又将职业学校两座教室交民教馆,用以办扫盲识字班。1950年,民教馆改名文化馆,与新华书店分设。编制由2人增加到4人,业务活动有图书阅览、黑板报,宣传党的方针政策、组织街道店员识字学文化。同时受县委宣传部委托,负责审查县剧团的剧目、了解思想动态、组织演职员学习。随着干部的增加,增加了美术、标语、幻灯、传话筒宣传等,以配合镇反、土改、抗美援朝、合作化等中心工作。
1954年后半年,县文化馆迁至岳庙街西头路北现址。占地面积3亩多,旧房10多间。1960年,建起活动大厅1座(5间)、干部宿舍7间,同时,开辟了宣传橱窗。干部编制增加到7—8人,分工管理美术、书法、音乐、舞蹈、文物、文化等业务。业务范围除原有阅览、宣传外,建立了图书室,开展借阅活动,增加了文物管理,农村文化辅导,培训文化骨干,举办多种展览,组织群众性文艺会演、调演等。
“文革”开始后,文化艺术遭到冲击。1968年,文化馆与广播站、新华书店、电影站、剧团、印刷厂组成毛泽东思想宣传站,成立了站革命委员会。主要任务是组织基层单位成立毛泽东思想宣传队,成立敬绘组,沿街绘制领袖巨幅画像,书写语录壁等。1968年建干部宿舍6间,廊房10间。
1978年,县财政拨款新建干部宿舍5间。
1982年,省文化厅拨款3万元,新建宿办楼1座,面积240平方米。
1979年,县文物管理所成立,文物工作从文化馆分出。
1985年,县图书馆成立,图书业务随之分出。
1988年,县文化馆组织编写的《戏曲音乐集成》,受到陕西省集成编辑部奖励。1989年,县文化馆组织编写的《华阴县民间故事集成》、《华阴县民间歌谣集成》、《华阴县民间谚语集成》,受到陕西省、渭南地区艺术规划领导小组奖励。