西山茶起源于广西桂平西山神秘的佛教圣地。据县志记载，自唐代高僧开始种植以来，这里已有1000多年的历史。
传说在古代有一个樵夫上山砍柴。在棋盘石所在的地方，他看到三个老人在下棋和喝茶。樵夫是一个象棋迷，所以他走近并观看。看到他们正在学习《三仙舍友》象棋，他说了几个附近的步骤。看到这三个老人是下棋的朋友，他请樵夫一起喝茶，学下棋。他惊讶地仔细看了一眼那个伐木工人。原来这三位老人下的象棋非常精致，几乎“不朽”。一位老人看着他，递给他一杯茶。当他喝完之后，他反复称赞说:“这真是一种仙茶！”老人非常高兴，立刻给了他一袋茶籽。然后他对他说:“时间不早了，你应该赶快下山回家。”当樵夫从山上回来，回到村子时，没有一个他认识的人。村民们四处打听，说一百年前，村里有一个人上山去拾柴火，再也不会回来了。拾柴人问那个人姓什么。村民们说，樵夫突然意识到，他看到的只是两个神仙，"七天在山上，一千年在世界上。"他摸了摸口袋。当他发现茶籽不见了，斧头忘了把它拿回来时，他回到山上去寻找它。当他看到斧头时，它的柄已经腐烂了。茶树在斧头旁发芽了。此后，这些茶树逐渐长大，成为了茶林。村民们用这些茶泡来喝。它们很香，就像仙人为樵夫喝的一样香甜可口。它们被称为棋盘茶，因为仙人回来时会把棋盘留在那里。
随着锡山佛教文化的兴盛，锡山茶作为一种日常馈赠僧人的礼品，在广东、湖南、广西等地广为流传，享有很高的声誉。在清朝(1636 ~ 1912)，西山茶被命名为全国名茶和贡品。从此，西山茶进入了全盛时期。
