据说北宋太宗年间，辽国经常兴兵南侵，企图夺取宋朝江山。有一次，宋太宗命潘仁美为主帅，杨业为副帅，统领三军前去抗辽。潘仁美惟恐杨业功高望重，超过自己，就和监军王优合谋，私自下令，从前线撤回杨业麾下的许多兵马，伺机陷害杨业。辽国得知这个情况后，便集中十万精兵，乘机猛攻宋营，战情十分紧急。潘仁美制造借口，不予增兵。杨业万般无奈，只好率领仅有的人马去与敌人厮杀。出发之前，杨业与潘仁美商定，各选一千名精悍的弓箭子，埋伏在陈家谷两侧，等他把敌人引到谷时，就左右夹攻，给敌军以歼灭性打击。潘仁美口头上答应，但内心里却另有打算。当寡不敢众的杨业被打得人困马乏，退进山谷时，发现潘仁美并没有布置伏兵。杨业见此情景，义愤填胸，奋不顾身地回马冲杀，直打得浑身是伤，进退两难。这时，他长叹一声道：“我一心尽忠报国，反被奸臣陷害，今天要身落敌营，活着哪还有脸见人。”叹罢，纵身碰死在一块巨石上。后来，杨业的夫人余太君告了御状，然而，宋太宗仅只是免去了潘仁美的三个虚衔。这当然不能令人心服，于是，余太君怀着一腔义奋，离开了开封的杨府，带领一家老小回河东老家隐退去了。设在开封的杨府，与潘府只有一路之隔，潘仁美见余太君一家搬走了，心里十分高兴。可就在这时，忽然刮了三天三夜狂风，下了三天三夜暴雨，洪水把潘杨二府都淹没在一片汪洋之中。风息雨住之后，两家隔路相对的住宅，一起陷进地里，变成了两个庞大的湖泊。由于一忠一奸，故而湖水也是一清一浊。

    其实，湖水的清浊跟人的好坏并没有直接的联系。究其原因，主要是周围环境造成的。当时潘家湖周围人口稠密有关。另外，它与刷绒街较近，那里有造纸作坊，制皮作坊。尤其是在湖边的豆芽社，直接把污水排到湖中。此外，在湖的东边整齐的放着很长一排洗衣服的砖，一横一竖像个丁字放在湖边，供人在那洗衣服，放砖人，收一、二分钱。又因为，东湖本身死水，久而久之，湖水就被污浑浊不堪了。杨家湖的情形不一样，因其周围居民稀少，在此洗刷的人也较少，没有那么多污水流入，所以，湖水比较清。