绍兴二年正月，高宗从绍兴回到了临安。五月，开始着手选嗣事宜，派管理宫廷宗族事物的赵令畴负责访求宗室子弟。当时宋太祖“伯”字辈后裔共有1645人。令畴从中选出了10名7岁以下的孩童，又经过层层选拔，只留下了两个孩童，供高宗亲自定夺。这两个孩子一胖一瘦，胖的叫伯浩，瘦的便是伯琮。开始，高宗在粗略的看了一下之后，决定留下伯浩，遣走伯琮。赐给伯琮白银300两，遣送回家。伯琮手捧白银，刚准备出殿门。高宗又将他叫住，说自己没有仔细地看，要重新审查一番。一是让两人叉手并立，细细观察。正在这时，一只猫从旁边经过，伯琮目不斜视，而伯浩却童性大发，飞起一脚向那只猫踢去。高宗见状，皱着眉头说：“这只猫偶然间经过，为何无故踢它？这个小孩如此轻狂，难当社稷重任！”于是留下伯琮，遣走了伯浩。伯浩出宫，后官至温州都监。
根据历史记载，宋孝宗赵昚已经出五服了，宋高宗还是选他做储君，这是为什么呢？宋朝开国君主赵匡胤去世之后，其弟赵光义继位。以后的皇帝一直是由赵光义这一脉担任，赵构也是如此。而赵昚则属于赵匡胤一脉，论起血缘来，甚至在宋高宗的“五服”之外。那么，赵昚都出五服了，我们说赵昚“出了五服”，实际上说的是他与赵构之间亲属关系超过了五代。虽然同为赵姓，实际上关系已经很远了。
