芝山公园早期原名为土素山。在唐龙朔元年(661年),山上曾产灵芝3枚,刺史薛振上贡朝廷并谎称这是灵芝山所产。从此,芝山名扬天下,成为遐迩闻名的游览胜地,亭台楼阁相继建立。
芝山公园儿位于潘阳县城北原名土宿山。