源赖朝的妻子是北条时政的女儿北条政子。
源赖朝死的时候儿子源赖家才17岁，所以就由外公和其他幕府重臣联合执政。后来因为源赖家恣意胡为，于是北条时政想废了他，结果赖家妻子的娘家比企氏起兵反对北条氏，但很快被北条氏镇压了。然后北条氏就以此为借口让赖家剃度出家，由他弟弟源实朝继位。此后北条时政由企图废掉源实朝，由他的女婿、源赖朝的养子平贺朝雅继位。北条政子联合弟弟北条义时挫败了时政的阴谋，将其流放。于是北条义时掌握了幕府实权。再后来源赖家的儿子源公晓暗杀了源实朝，北条义时以此为借口处死了源公晓，而源实朝由没有子嗣。自此源赖朝算是断子绝孙了。北条义时从京都藤原家请回一个与源赖朝有一定亲缘关系的贵族子弟继位为将军，但实权仍由北条氏掌握。从此镰仓幕府的将军成了摆设，北条氏世袭执权一职统治日本。
