相传宁山寺修建与汉武帝刘秀有关。刘秀曾被王莽囚于西安城南王曲青龙岭,後经人解救脱离险境,而小夫峪过圉一带即为其休息藏身之所,迄今当地仍有许多关于刘秀的传说,一些地名如藏驾庄、等驾城、遇驾沟、刘秀沐、刘秀庙、刘秀沟、王莽坡、马刨象、二犬墓等都与此事有关。刘秀之子汉明帝刘庄尊崇佛教,为纪念真父伟绩,报答此地潜藏幸存之恩,遣王宰相于蟠龙山建造潜龙寺而宁山寺即为其下院。宁山寺建成之後,王宰相及其失心于此技剃出家,故宁山寺亦称“王相府”。该寺附近的长寿坡村东曾有王宰相墓葬及石塔,一直保存至1949年後。