邓石如故居座落于今安庆市宜秀区五横乡白林村邓家大屋西端，距离安庆城约25公里。清乾隆六十年(1795)，邓石如新建茅屋数间，并以两湖总督毕沅所赠铁砚而名新居，故得名‘‘铁砚山房"。同治六年（1867年），山人之子邓传密重新修建。

故居座落在群山环抱、清溪如带的龙山凤水之间，东有龟山、北有虎山，故称“四灵山水”。故居主体建筑为穿斗式，砖木结构，共四进。第一进为门厅，三开间。邓传密题写“铁砚山房”隶书门额，木刻门联“绿蒲水暖鱼儿戏，红杏花明燕子归”。二、三进均为两层楼阁，面阔五开间，进深两间。第二进正厅名“守艺堂”，三开间，两侧梢间为板隔住房。第三进名“燕誉居”，明间作通道，两侧次间、梢间均系板隔住房。第四进仓房。主体建筑西侧为斋馆庭院，旧有“求声馆”、“挹翠楼”，斋馆外围为花园。整个建筑占地近1000平方米。1924年我国杰出的核科学家、两弹元勋邓稼先(邓石如第六世孙)就诞生在“守艺堂”西侧的住房里。邓石如影响着数代人，也使得故居书香飘溢，叹为观止。在邓石如的影响下，五横乡文风昌盛，人人爱好舞文弄墨，涌现出不少农民书画家，成为全国闻名的“文化之乡”。

1986年7月，安徽省人民政府公布为省级重点文物保护单位。