岳飞死后，一家人被朝廷流放岭南，当时次子岳雷16岁，岳飞被捕时他被证明与“谋反”无关，被派入狱中照顾父亲和兄长，岳飞被杀后岳雷被发配到惠州拘管，含恨而终。
当时三子岳霖12岁，四子岳震7岁，五子岳霭3岁。
他们一家到达惠州后，秦桧在朝中只手遮天，地方官按照秦桧意思，将他们安置在寺庙里一个“仅能容身”的茅屋中，长期被软禁。一家人的日子可想而知，受尽委屈，岳雷就是这样郁郁而终的。而这样的日子他们过了二十年。
岳飞死后赵构将岳飞的家人发配到荒无人烟的岭南地区。每月只给他们少量粮食，甚至不给，生活环境十分恶劣，条件十分艰苦，孝宗皇帝继位，为岳飞冤死平反，恢复岳飞官爵，追封其鄂王。家人被接回京城。
