衡阳保卫战纪念馆依托晚清建筑“陆家新屋”而建，占地面积2640平方米，清光绪七年（1881年）建成。该建筑装饰十分讲究，木雕、石雕、彩绘、雕塑内容丰富，工艺精湛，具有极高的观赏价值，它是研究湘南民居的重要实物见证。

1944年日军攻击衡阳时，日军一骑兵分队进驻衡阳城西北郊，途经“陆家新屋”并在此建立临时指挥所。居住期间，被奉命驰援衡阳的国民革命军侦察排之一部发现，双方在此展开激战。现屋墙内外的几十处洞眼就是当年激战时留下的弹痕、弹洞。它是目前衡阳城区在战火中唯一的未遭彻底损毁的，而又与抗战有关的古建筑，是非常难得的抗战遗址。它对于警示国人勿忘国耻、居安思危有着重要的现实意义。2007年，它被正式定名为衡阳保卫战纪念馆。

经过不断地开发建设，衡阳保卫战纪念馆已成为接受精神洗礼，践行使命初心的重要红色场所，更是外地游客一览“抗战纪念城”风采、寻根抗战遗迹的重要资源。