看看漠北大战时他身边的将领就可知其为人，公孙敖是他的救命恩人，公孙贺是他的大姐夫，曹襄是他的继子，李广是皇帝派给他的……这就是他的个性，不管是对亲人还是朋友，从来不会说不。他的身上承载着太多的家族利益，是卫氏家族最理想的保护神。反观霍去病，他用人完全是另一种风格，他的得力手下几乎全是匈奴降将，选的将士都是能骑善射的低级军官，一切只着眼于战场，没有一个沾亲带故的亲友，没有一丝人情可讲，甚至连一向由皇帝指派的裨将都可以拒绝不要。
这种方式保障了他在战场上的节节胜利，但是他却失去了以卫氏为首的皇亲国戚以及世家贵戚们的支持。霍去病的崛起，得利的全是外人，卫氏家族没有得到丝毫的好处。可以说，霍去病虽然出自卫氏的分支，但他并不代表着卫氏的利益。武帝为什么要暗中尊霍抑卫?就是因为霍去病是一个孤立的个体，地位再高也是皇帝赐予的，他没有形成一个利益群体，跟着霍去病而获得荣华富贵的都是底层之人，大多数还是匈奴人，这些人在朝中没有任何势力，所以霍去病根本没有拉帮结派的可能，不构成政治威胁。
然而卫青不同，卫青虽然一直谨小慎微，但是他的身上担负着太多人的利益，这些人汇聚在一起，势力十分庞大，武帝必须想办法扼制他，采取的手段便是以霍制卫。当霍去病作为大将军的一个部将而获封侯时，他是卫氏家族的一个锦上添花者，当他威胁到卫氏的保护神卫青的地位时，他便是整个卫氏的敌人。如果说漠北大战后，卫青面临的是众叛，霍去病面对的则是亲离。
卫氏家族的得利者是绝对不愿意看到霍去病取代卫青地位的，他们会拼尽全力保住卫青。二，李敢伤卫青事件及其背景史记记载:李敢以校尉从骠骑将军击胡左贤王，力战，夺左贤王鼓旗，斩首多，赐爵关内侯，食邑二百户，代广为郎中令。顷之，怨大将军青之恨其父，乃击伤大将军，大将军匿讳之。从这一段记述中我们可以看到，漠北大战结束后，李敢获封为关内侯，出任郎中令，“顷之”李敢因父仇击伤卫青。
这一年是公元前119年。李敢因为父仇所以不顾性命的去找卫青拼命，这符合一个刚从沙场上下来的军人的身分，也符合李家人质朴的个性。卫青事后并没有声张而是将此事隐瞒，也完全符合他一向仁善退让的个性。卫青的大度有没有使李敢心生愧疚我们不得而知，但是不管李敢后来还恨不恨卫青，他的这个举动已经足以为整个李氏的衰落埋下祸根。
李敢是李广之子，漠北大战时霍去病的部下，朝廷的郎中令。但他还有一个重要的身份一直被人忽视，他还是当朝丞相李蔡的侄子。李蔡曾经是卫青的部将，但是此时的身分是丞相，他是李广的从弟。李广自杀，李敢认定了卫青是他的杀父仇人，并且采用了激进的方式，发生了流血事件，那么贵为丞相的李蔡对卫氏意味着什么?正当得势的卫氏也许不会把李蔡放在眼里，但是江河日下且正被皇帝逐渐冷落的他们还能这么坦然的面对着一个有可能对他们怀恨在心的李氏高官吗?三，李蔡之死与李敢之死丞相李蔡于第二年的三月份畏罪自杀了，他的罪名是侵占了先皇陵寝的一块地。
一个很可笑的理由，李蔡既不是傻子也不是疯子，而且也没有任何迹象表明他是要钱不要命的财迷。天下那么大，身为丞相的他要想占一块地，哪里不行，为什么要去侵夺先皇的墓地?连三岁小孩子都知道那是死罪，李丞相为什么要冒天大的风险去占那块地?占了这块地，他得到了什么天大的好处了?政治是不讲因果逻辑的，有人证据确凿的指出他犯了这种大逆不道之罪，皇帝只能派人查，还没有下狱，李蔡便自杀了。
说到底，他只是一个才智平庸的武将，在复杂的政治斗争中根本不堪一击。继任丞相之位的是太子太傅庄青翟，也就是说，太子是这场政治斗争的得利者。与此同年，霍去病突然因为李敢刺卫青，在甘泉宫狩猎场当着武帝的面射杀了李敢。这个事件疑点重重。首先，在甘泉宫狩猎时杀人，这个杀人地点选的太离奇了，现场一定有很多皇家卫队，不可能保密，尤其不可能在军中保密。
李家世代为将，李广又颇爱护士卒，李家在军中是有一定影响力的。霍去病这么做，影响太恶劣，会引起很多人的反感，甚至是愤怒，他什么要在这里杀人?在这里杀人他得到了什么好处?其次，李敢当时的身分是郎中令，九卿之一，就算在军中他是霍去病的部下，但这时并非是在塞外打仗，此时的霍去病根本没有权利私自处决李敢。当初卫青在塞外时都不敢私自处决部将，因为这会犯忌讳，专杀大权只有皇帝才有，霍去病当着皇帝的面明显越权行事，实在是为人臣子的大忌。
