室町幕府を開いた足利尊氏の先祖、源義国とその子義康(足利義康・足利氏の祖)が平安時代後期に築いた館で、広さ約4万平方メートルの方形居館は在地領主クラスとしては最大級です。
鎌倉時代初期、足利氏第2当主足利兼義が大日如来を本尊とする鑁阿寺(ばんなじ)を敷地内に建立し、その後足利氏の氏寺となりました。
鑁阿寺は国宝の本堂、国の重要文化財に指定されている鐘楼や一切経堂が見どころで、少し歩くと日本最古の学校として有名な足利学校もあります。
現在、館は残っていませんが、周囲に巡らせた水堀と土塁や四方に設けられた門からも武士の館の面影が残されています。