可李广利毕竟是主帅，在军中还是有一些耳目的。他提前得到消息，遂抢先下手，杀掉了长史和那名将领。
虽然把兵变扼杀在了萌芽状态，但李广利很清楚，军心已乱，此时若继续北进，绝对难有胜算，只好下令南撤。
匈奴单于狐鹿姑察觉汉军的异动，料定必有隐情，遂抓住战机，亲率五万精锐骑兵火速南下，竟然抢到了汉军的前头。当李广利兵团撤至燕然山（今蒙古国杭爱山）时，立刻遭到匈奴军的截击。双方主力展开血战，战况激烈而胶着，打了一天依旧难分胜负，彼此都付出了极大的伤亡。
到了入夜时分，匈奴军忽然主动撤出了战场。李广利赶紧率部继续向南撤退。不料，这却是匈奴人的计谋——他们早已在汉军的必经之路上挖掘了数尺深的壕沟。当汉军将士猝不及防、纷纷坠入陷阱时，方才佯装撤离的匈奴大军突然从背后杀出，对李广利兵团发动了猛烈的进攻。
汉军进退不得，一番苦战后，终于全线溃败。
李广利彻底绝望，就此投降了匈奴。
这样的结果，令狐鹿姑大喜过望。李广利虽然名分上还不是汉朝的大将军，但实际上早已是大汉军界的一号人物。如此重量级的人投奔匈奴，不仅让汉朝颜面扫地，对其军心更是一个沉重的打击；反之，则极大地提振了匈奴的军威和士气。