相传两千多年前的春秋战国时期，楚国音乐大使俞伯牙路过汉阳江口，夜泊江岸，观赏夜色，抚琴抒怀，弹起高山流水的曲子，正巧岸边樵夫钟子期善知音律，从琴声中了解到伯牙抱负，听罢不禁赞许说：“峨峨兮若泰山，洋洋兮老江河。”伯牙遇到知音，十分高兴，两人送结为知交，并约定来年再在此相会。第二年，伯牙来到龟山脚下，子期已经逝世，深感知音难得，他特地到子期墓前，重弹“高山流水”旧曲，弹罢，即破琴绝弦，终身不复鼓琴，这就是流传干古的“摔琴谢知音”的故事。后人感其情谊深厚，就在汉水和长江汇合处，风景秀丽的月湖边筑过一座琴台，表示纪念。这座古琴台也称伯牙台。南北朝梁简文帝萧纲曾经写过一首《登琴台》诗，诗中有两句：“音容万春罢，高明千载留。”表达了崇敬的心情，可见，在距令一千四百多年前。已筑有琴台。清朝嘉庆年间重修，解放后，又作了全面整修，这是现存最早的一座古琴台了。
古琴台遗址已有了不少附设建筑。主体建筑是一栋单檐歇山顶式前加抱厦的殿堂，檐下匾额上书“高山流水”四字。堂前有汉白玉筑成的方形石台，传为伯牙当年抚琴的地方。
