據《龍南縣太平志》載：“此廟元末建，明洪武四年辛亥（1371）重修，神有靈感，遇水旱瘟疫，鄉人祈禱無不應者。都御史王陽明（字守仁）征三浰時，路過銀山廟神忽降言：‘有我助，三早霜’之句，時暑月興師，果然早霜，士穿棉絮抵霜降，賊悉就擒，王守仁書其額曰‘護國靈祠’。道光十三年（1833）十二月橫崗之捷所擒賊供云：見騎馬三大將旗書‘護國神軍’是以大潰。咸豐四年（1854）三月賊入太平境，忽黑云蔽空，賊眩顛倒，自殺散去，亦神之佑也。”

1957年，興建楊村中學時，校址設銀山廟崗，該廟改作學校禮堂，廟背墻壁開一中門作禮堂大門，原來廟門已砌墻，廟內菩薩早年被毀，二十世紀40年代全部燒毀。“護國靈祠”匾額搬至楊村中心小學，“文革”期間也被毀。廟門口名士李章杰寫有一對聯鐫刻在石柱上，聯云：“靈顯三山護國佑民憑道法；霜飛六月除災蕩寇仗神功。”可惜石柱已經蕩然無存。

廟內原有大小菩薩90多尊，形態端莊，面目清晰，或喜或怒，或坐或立，拿刀執棍，威武森嚴，栩栩如生，反映了當時雕刻匠人的精湛技藝。

王陽明平定“三浰之亂”時，駐軍在楊村黃塘，對銀山廟十分敬重，閑暇之余還專門去朝謁銀山廟。