三僚曾、廖二姓在村子内各住一边，他们建的杨公祠也是也是各居一边。廖姓杨公祠也始建于元朝至正年间，距今约650年左右。廖氏杨公祠堂位于三僚村盆地的西北部御屏峰下，左右两边均为民房。祠的座向是子午兼癸丁，分上下两殿，（现仅存一殿）杨公金身雕像居中，左边为廖金精，右边为老官，另外左下座为药师华佗、右下座祀当坊福主。

廖氏杨公祠由于历史原因，也遭到人为的破坏，近年还未进行大规模重建，故规模比较小。因为距圩集（三僚村有圩场，二天一圩）比较远，道路难行，还不太引人注意。进廖氏杨公祠的人，对祠内的二副对联比较关注。第一联曰：

竹杖精奇万里河山归杖下

青囊元妙一天星斗隐囊中

抽爻换象堪移一天星斗

避凶趋吉真乃万国神仙

相传这副对联为南宋状元宰相文天祥所题。

廖氏杨公祠内悬挂着二块巨匾，一块是“历代国师匾”，文曰：

奉旨

钦天监国师 廖金精 廖兴 廖均卿 廖旺隆 廖文政

钦天监博士 廖景庵 廖必旺 廖用成 廖歧山 廖绍定 廖觉先廖炳 廖绍宠

另一块是“历代明师匾”。三僚所谓的“国师”，是指受过朝庭封赏的堪舆术士，未受朝庭封赏，但在民间享有很高声誉的堪舆术士，称为明师。

清末以前，到三僚村学习堪舆术的规矩很怪，不是直接上师傅家去求拜，而是到杨公祠内去做义工，每天扫地、上香、添香油，村里的堪舆术士如果发现求师者对杨公很虔诚，会聚在一起商议，为他指定一个师傅。三僚堪舆师收弟子的方法也特别，不是自己决定，而是由杨公决定。愿意收弟子的堪舆师和求师者一起到杨公祠内上香祷告，然后求师者跪求杨公说：“我能拜某某先生为师吗？”说完后跌告。如果是阴告或阳告，这位堪舆师就不会收他为徒，求师者再提出一位堪舆师的名字求杨公，如果跌出了顺告，就拜这位堪舆术士为师，师傅不能拒绝，因为是杨公指定了的，只能带回家里去悉心指教。

在清末以前，海内外来三僚村求师学艺和聘请堪舆术士的车马不绝于途，村内客栈饭馆很多，故当时三僚村的经济非常发达，在这样一个边远山村内，圩场市集就有二个。

我曾陪过不少虔诚的海外堪舆爱好者去祭祀杨公祠。他们说，过去师傅告诉他们，学习堪舆术的人，一生中至少去三僚祭拜一次杨公，并要把他们自用的罗经，置于拜台，举行祭祖仪式，祈求祖师赐福。他们的罗经放在杨公祠内拜过后，就附着了杨公的灵气，仿佛画的龙点了睛，可以持之四海谋生了。