卫青死后,卫家开始衰败。后宫的钩弋夫人想要儿子做太子,联合江充一干等人以巫蛊之案陷害卫子夫和太子刘据,致使卫子夫和汉武帝所生的子女无一幸免,仅留下一个后人。巫蛊之案是卫家最大的灾难,卫青长子卫伉也死在此案,从此卫家辉煌不再,彻底败亡。