而有传言因为卫青的死所以在宫内的皇后卫子夫失去了外朝最重要的依靠，这也是她未来悲剧为何无人为她说话的根本原因，不是卫子夫不好使因为卫青死的太早了，可以说如果卫青未死，也许他妹妹和侄子的悲剧就不会发生。

随着太子刘据一天天长大，卫子夫的容颜也一天天衰老下去。公元前123年，随着年轻貌美的王夫人的出现，汉武帝对卫子夫持续十五年的盛宠开始逐渐转移。之后，又有李夫人、尹婕妤、邢娙娥、赵婕妤等更替受宠，这是没有办法的作为皇帝的刘彻肯定是喜新厌旧的，而此时皇后卫子夫最重要的依靠卫青已经病逝。

然而，即使朱颜辞镜色衰爱弛，卫子夫依然记着立后之时枚皋那篇劝诫之赋。再者卫子夫的弟弟卫青及外甥霍去病为汉武朝立下不世之功，威仪不泯，天下尊之。深晓月盈则亏，水满则溢，盛极必衰道理的卫子夫宠辱不惊，凭借着平衡的心态，良好的德行及公正的处事，使她在宠衰之后，在卫青、霍去病相继离世之后的17年内依然能够得到武帝的礼遇与尊重。

除后宫诸事为卫子夫职责之内，武帝每每出巡游幸天下时亦将少府所掌宫中事由交予卫子夫定夺。待武帝归来之时，卫子夫将重要的裁决汇报给刘彻听，刘彻从来没有异议，有的时候甚至免去卫子夫的汇报。刘彻对卫子夫的信任即是如此。

盛宠之下，功高相加，卫氏外戚的规模在近半个世纪的时间内不断壮大。庞大的外戚成员亦未能免于恃宠而骄之俗。公孙敬声，丞相公孙贺的儿子，凭借自己是皇后姐姐的儿子，行事骄奢不守法纪，居九卿太仆之高位，擅用北军军饷一千九百万钱。事情败露之后被捕下狱。

这时，刘彻下诏欲抓捕的阳陵人朱安世却迟迟未能归案，公孙贺便请命此差以赎公孙敬声的罪过。武帝答应此请。后来朱安世果然被捕成功，却在狱中上书诬告公孙敬声与阳石公主私通以及行巫蛊诅咒天子之事。刘彻知晓之后大为震怒，令有司深查公孙贺所犯罪过。

公元前92年春正月，抓捕丞相公孙贺，并冠以公孙贺兴利弟子宾客不顾黎民死活等多条罪名，[公孙贺父子竟然冤死狱中。自此，太子刘据在朝堂之上再无外家。

然而，此事却远未结束。征和二年春天，涿郡铁官铸铁的时候，铁水熔化飞溅天空，后世所兴谶纬之学认为这是火发生了变异，天下将有大难。一个月后的征和二年夏天，一场毫无预兆的风灾在摧毁房屋折断树木的同时，也掀开了一场大难的序幕。

闰四月，诸邑公主、阳石公主坐巫蛊之罪处死，卫青之子卫伉及卫长公主之子曹宗[51]亦在连坐之内。而此时的宠臣江充因与太子有隙，害怕武帝死后被新帝诛杀，故而欲构陷太子为先，即妄言武帝生病是因为有人行巫蛊诅咒天子。于是武帝命江充为使者治巫蛊之案。江充指挥巫师四处掘地寻找木偶人，但凡挖到就逮捕周围的人，并以炮烙之酷刑逼供认罪。百姓惶恐之余相互诬告，以此罪冤死者前后共计数万人。

此时的刘彻已经年迈，愈加相信巫蛊之事。江充趁机说宫中有巫蛊之气以致天子之病久不见好。于是开始查办后宫中不受宠幸的夫人，随后又查到皇后卫子夫的椒房殿。将整个禁中的御座毁地面掘开以后，仍一无所获。

公元前92年秋七月，江充终是将铁楸挖到了太子东宫，在按道侯韩说、御史章赣、黄门苏文的帮助下，得到了桐木人偶。

太子刘据欲往甘泉行宫辩白却遭江充等人限制，无法向刘彻辩明情况，情急之下又无上策，便听从少傅石德之计。于七月壬午日，将江充缉拿，并斩杀韩说。而协助江充办理此案的御史章赣逃出，去往甘泉行宫见武帝。[58]因太子能指挥到的车马有限，刘据在决定起兵后派舍人持节连夜入长秋门报卫皇后。卫子夫同意刘据调用皇后的中厩车架，取武库兵器，调长乐宫卫队，并以奸臣造反的名义征兵，与江充等人在长安城中展开激战，终于杀死了江充，并于