1469年新田(岩松)家純の命により築城され、その後下克上によって城主となった横瀬氏(のちに由良へ改名)の時代に全盛となりました。
標高235.8mの独立峰「金山」の自然地形を利用して造られ、石垣や石敷通路、土塁石垣など、随所に石が多用された中世末の関東の山城としては極めて珍しい「石垣の城」とも言われています。
戦略拠点となる立地ということもあり、上杉謙信や武田勝頼などの大名から幾度となく攻撃を受けるも、一度も落城していない難攻不落の城でしたが、1584年北条氏による謀略に落ちて城を明け渡すことになり、豊臣秀吉の北条氏征伐によって廃城しました。
現在は遺構をもとに公園として整備されており、通年登山が楽しめる初心者向けのハイキングコースや四季折々の草花・野鳥などが観察できる自然豊かな史跡になっています。