寺座北朝南，西院为吴王宫遗迹。据《吴越春秋》和《越绝书》记载，越国美女西施来吴国后，深得吴王夫差宠爱，夫差在风景秀丽的灵岩山，为西施修建了富丽堂皇的“馆娃宫”。
相传现灵岩寺大殿即馆娃宫遗址。宫内有一条别致的长廊，凿空廊下岩石，放一排陶甏，上铺有弹性的楩梓木板。西施与宫女们慢舞其上，发出木琴般的乐音，因名“响屉廊”。灵岩塔西面，至今尚有“响屉”遗名。
灵岩山顶花园，原是吴宫中的御花园。园中有月池、日池两口大井，西施常对井梳妆，以水为镜。据地方志记载，明朝一农夫在淘井时，曾发现上镌“敕”字金钗一支，传为西施遗物。
灵岩寺遗址位于高桥左侧，距报国寺西南5公里，传为中印度僧人宝掌结茅处。隋唐间创建。曾改名护国光林寺、会福寺。明洪武永乐年间重建，仍名灵岩。
