始建于北宋嘉六年（1061年，）时称崇本堂；元代毁于战乱；明永乐十二年（1414年）重建，易名王氏宗祠。清康熙至光绪年间先后6次维修和扩建，建筑面积达1950m2。1940年再次修葺后改称王家祠堂。1988年8月被公布为县级文物保护单位。王氏宗祠坐北朝南；砖、石、木混合结构。王氏宗祠保留了明、清时期的建筑特点和风格，部分构件系明代原物；石构件上的雕刻和木构件上的彩绘丰富精美，门联、柱联保留了明代尚书湛若水、曾朝节，清代状元罗洪先等贤达名流的书法真迹。  
有关资料记载：衡阳渔溪王氏：湖南王氏多派衍太原，该支系出瑯琊。鼻祖万庄公，字敬斋，宋初人，原籍真定府灵寿县，以进士官邵阳令，与弟万滨、万韬同至衡阳，万滨居清化乡沙塘，万韬居怀节乡叶荷坪，万庄居长平乡渔溪。北宋嘉祐6年（1061）四世祖永贤始修家谱，南宋宝庆元年（1226）二修，元延祐3年（1316）三修，元至正4年（1344）四修，明正统11年（1446）五修，明成化7年（1471）六修，万历34年（1606）七修，清康熙元年（1660）八修，雍正6年（1728）九修，乾隆59年（1794）十修，道光6年（1826）十一修，同治4年（1865）十二修，光绪26年（1900）十三修，1938年十四修族谱。字派：志定绍万载，邦永思卿德，宗原仕伯添，文世大梦宁，朝端启嘉庆，俊秀继芳诚，一元余运会，安本乐宽平，厚道传先训，显扬集国英，昌隆才必贵，顺迪吉恒盈，承祖联科第，崇儒肇盛名，楚良开泰景，远代信光亨。