戦国時代中期の1512年に上野長野氏が川や湿地帯などの自然の地形を巧みに利用して築城。幾度となく武田氏の攻撃を防いだ難攻不落の城でしたが、1566年に落城された後は、武田氏、織田氏、北条氏、徳川氏と領主が変わり、そのたびに城や縄張りも幾度となく造り替えらました。
現在の遺構は最後の城主だった井伊直弼によって大改修されたもので、築城当時とはかなり変化していると考えられています。発掘調査によって2階建ての櫓門と推定された「郭馬出西虎口門」は、2016年に復元され自由に門を通り抜けることができます。
約21haの敷地の城跡(戦国時代は約36ha)には、三の丸、二の丸など各所に当時の石垣が残り、本丸を巡る空堀や城の中央部を南北に分断する大堀切は見ごたえがあります。