传说最早的玄武湖始于商朝，当时的湖泊称为“雨衍湖”，当时的皇帝想要把它治理好，于是他邀请来了三位神仙。他们发现湖上漂浮着一只巨大的玄武，随后勤奋地修复了湖泊。 到了春秋时期，湖台被周武王建立了，并重新命名湖泊为“玄武湖”，因为湖水中漂浮着一只古老的玄武。
朱元璋的后花园。
明太祖朱元璋定都南京后，大肆扩张南京城的范围，玄武湖从此成为南京城东北城墙外的护城河，湖面仅及六朝时期的三分之一，且在中洲（梁洲）建黄册库，作为明朝政府贮藏全国户口赋役总册的库房禁地，不允许一般人随便进入。时人乃有“瀛洲咫尺与去齐，岛屿凌空望欲迷。为贮版图人罕到，只余楼阁夕阳低”的讽喻。
