徐特立故居现位于长沙县江背镇特立村观音塘组。始建于清朝末年，距今约有200年历史，由徐特立过继后的伯祖父的父亲所建，属典型的清末南方四合院建筑。其选址考究，布局严谨，功能齐备。建筑为砖木结构，四合院布局，部分墙体为夯土墙，坡屋顶，小青瓦，地面为三合土，梁柱全部采用套榫相结合的方法，檐下形成回廊，方格窗向内支撑。房屋四周和院内都有由青砖砌成的排水沟，内院走廊都均匀分布着木柱，院内有水井一眼。故居占地约5700平方米，建筑面积581.7平方米，共有房屋19间，层高为6.25米，坐西朝东，大理石台阶通往故居内。整个建筑结实耐久，采光，通风良好，设计科学。外有围墙，正中为槽门，内有庭院，结构完整。前临田野，后靠小山，周围松柏、香樟、翠竹环绕，十分优雅。故居前有一棵法国松，是1924年徐特立从法国留学带回的种子，亲手栽种。天井中还有徐特立20岁时亲手栽种的两棵桂花树。徐特立故居是徐老生活、成长和早期从事教育活动的地方。1915年，对自家老屋加以改建，扩建两间教室，捐居办学，将其作为五美高级小学校舍。1963年，五美学校50周年校庆之际，故居内设立了陈列室，对外开放，供游人参观。1983年，湖南省人民政府公布徐特立故居为湖南省文物保护单位。2009年开始实行免费开放。2013年被国务院公布为第七批全国重点文物保护单位。目前，故居是省爱国主义教育基地，省党史教育基地，市党史教育示范基地，省中小学生研学实践教育基地，市、县党员党性教育基地。