郡山城跡の毘沙門郭に、深みある存在感が際立つ地方史誌専門図書館、柳沢文庫がある。もともと柳沢伯爵家が迎賓的な用途にあてた建物で、隣の住居スペースと渡り廊下でつながり、東京都にあった本邸に対し、「郡山別邸」として使われた。棟札がなく、正確な建築年代は分からないものの、大広間などの本体部分は1905～06ごろの落成とされる。

　郷土の教育振興に貢献しようと、最後の郡山藩主・柳沢保申氏の跡を継いだ柳沢保恵氏が1902年4月、堀之側(現・大和郡山市植槻町)にあった当時の郡山別邸の一部を開放したことに始まり、毘沙門郭に移築した後も所蔵する書籍、雑誌、新聞などを公開。全国各地から書籍を購入し、当時の郡山中学校(現・県立郡山高校)の職員や生徒をはじめ、広く市民に利用された。