岳雷是个有才华的人，但皇帝不可能给他机会让他做元帅，因此他一直小心翼翼的活着，在岭南他娶妻生子，而且生的孩子也都有本事。后来孝宗皇帝跟岳飞平反，岳雷全家从岭南归回时，长女岳二娘，22岁，长子岳经20岁，二子岳纬，19岁，二女岳三娘，十六岁，三子岳纲，13岁，四子岳纪，11岁，1162年4月初三到潭州(今长沙市)北裹厢居住。同年，7月13日，冤案昭雪后，岳雷封忠训郎，阁门祗侯，又蹭武略郎，翰林院大学士。景定二年(1261年)追封绍忠侯。岳雷晚年居丹阳培棠，归岳琛(岳霖子)就养。卒于嘉定三年(1210年)8月22日，寿年78岁。
可见所谓岳雷扫北，是民间的一种最好的想法，他们不忍看见民族英雄岳飞蒙受屈辱，幻想岳飞后继有人，有人替他报仇雪恨，并且完成历史使命，打败金国，让大宋朝继续生活一种万国来朝的状态。
