据历史记录显示，潘天寿一生娶了五个女人。他最初的妻子是唐朝的韦氏，后来又迎娶了王氏、刘氏、马氏和郭氏。潘天寿在不同阶段娶妻的背后可能有各种原因，包括政治联姻、家族传统或其他社会因素。这些婚姻关系反映了当时社会的婚姻习俗和家族地位的重要性，同时也展现了潘天寿作为一位重要历史人物的家庭生活和情感经历。
潘天寿是美术界公认的二十世纪与吴昌硕、齐白石、黄宾虹、并肩而立的“四大家”之一。 潘天寿的生日，是传说中的花节，他喜欢自己是“百花生日生”。所以成名后，他往往在得意之作上盖上“百花生日生”的印章。 母亲给他讲故事，教他背诗文，剪纸人，做灯笼，与父亲相比，潘天寿与母亲有着一种分外温馨的母子之情。但母亲在宁海农村反洋教的运动中，竟因惊吓而在产后去世。这一年潘天寿7岁。幼年的经历催生了他早熟、寡言和独立的性格，列强欺凌带来的家国劫难，埋下了民族自尊的情结让他一生挥之不去
