呂氏為漢人移墾八德的大姓之一，根據族譜記載來自福建漳州詔安二都秀篆，屬呂萬春房支裔孫。乾隆末年，呂氏族人集合五十幾房共同出資購買田產並興建「著存堂」，為萬春公的祠堂，也是管理田產收租之公館，又名上公厝。光緒 11 年（1885）呂登元中舉，更有族人拓展至大溪，呂氏家族移墾有成，落地生根、開枝散葉。

著存堂創建雖早，但現狀主要重建於日治大正 8 年（1919），據彩繪上落款「秋菊育佳色時在甲子 季之月 邱鎮邦塗筆」，甲子年為大正 13 年（1924），推測歷經數年建築才裝修完成。

重建的著存堂規模為三合院並帶軒亭，建築本體結構系統為承重牆與木構造。正廳牆體由磚、石（條石、卵石）及木材構成，木作由名匠葉金萬主持，木雕具豐富傳統吉祥圖案；彩繪為名匠邱鎮邦所作；擂金彩繪尤其精彩；正堂與橫屋的窗櫺上方有書卷、桃、石榴等具有寓意的泥塑；並採用日治時期的洗石子竹節窗櫺與綠釉花磚，展現地域時代性的建築工藝。

著存堂的軒亭於民國 85 年（1996）遭風災損毀，經考證現場遺構及舊照片後，於民國105 年（2016）復原，並在地坪、牆面、屋脊剪黏等處可見原貌與後來修補的對比，凸顯求真的修復精神。

呂宅著存堂呈現八德地區漢人的拓墾精神，在歷史意義與建築特色上皆有很高的價值。

正身採燕尾脊、護龍(廂房)明間採火星頭，外間則為大北水形式。
外牆基有「砌卵石」與砂岩疊砌兩種作法，牆身多為紅磚斗子砌，轉角部份做磚雕(淺雕)，窗框採砂岩和「洗石子」兩種作法，額上並有泥塑彩繪。
屋脊做有簡單的剪貼(剪花)脊飾，屋瓦為紅色板瓦。

在正屋明間做有局部木構架，
正身內部屋桁採擱(木稟)式作法，
在中脊入壁處仍可看到始建時保留原鄉風格的「桁托」作法。
正身左右兩支步通，
採用高規格的「擂金」作法。