康熙49年(1710),康侯公始纠族建祠于湘乡东山五灵塘。乾隆初,六记、正锡、次霞、定一、又连、又端等纠族移建于街埠头,并置祀产。乾隆56年,公举万瞻、禹门管理祠事,合族公议仍故址新修宇。越明年四月十六日,寝室前后三进落成。迄冬,横屋亦竣。咸丰六年,俭庵、峙岳等合族增修,自寝室由中堂至戏楼,均改建焉。左立武庙,右建客厅,前面增修围墙。咸丰8年(戊午),重修祠堂成,有芝生于寝室,一茎三花,光泽可悦,因名其堂曰“芝生”。越同治3年(甲子),合修族谱,而芝益硕大,遂以“芝生堂”署其谱。
康侯公,派名允志,街埠头黄氏东山支第29世(毛生-德庆-多孙-僮祖-惟贤-乾鍷-允志),清顺治戊戌五月初七辰时生,康熙己亥二月十一巳时没,葬迁东山凤形屋后巽向。子五女四。性聪颖,少嗜学,涉猎群书,殆遍著作。吾族因明兵燹,自豫迁湘,历几世矣,岁时奉祀无所。公率族建宗祠,五灵塘之遗址在焉。