李元度是曾國藩的“辛苦久從之將”，又是兒女親家，曾國藩自稱與他情深，有“三不忘”之說。在九江、樟樹鎮等曾國藩屢戰屢敗的艱苦歲月中，李元度始終追隨左右，堪稱親信中的親信。

咸豐十年，太平軍李侍賢部攻打徽州，因為徽州是祁門大營的屏障，得失關係重大。曾國藩於是命令李元度帶領新兵3000人，老兵2500人增援。李元度是文人，又高度近視，領兵作戰實非所長。曾國藩放心不下，特別叮囑他只能固守，千萬不要出城決戰。但李元度臨戰時卻衝昏頭腦，自作主張。他率全軍5000餘人出東門與太平軍決戰。太平軍李侍賢部號稱10萬，但實際人數也有4萬。力量懸殊，李元度被打得大敗，只能逃回城再固守。太平軍乘勝追擊，冒死從小北門登城，徽州宣告失守。

徽州失陷後，李元度居然率先逃跑，又不及時返回大營。他徘徊一個多月後，竟擅自回糧臺索還欠餉，徑回湖南去了。曾國藩對他的做法十分氣憤，於是不顧幕僚的反對，將李元度彈劾革職。 如果說這次罰不避親是為了嚴肅軍紀，那麼以後的彈劾則是為了維護湘軍的團結。李元度回到湖南後，又透過鄧輔綸與浙江巡撫王有齡拉上關係。咸豐十一年四月，他招募士兵8000人，號曰“安越軍”。十月，他赴援浙江，投奔王有齡門下，並撤銷革職處分。十二月，李元度升任浙江按察使。

曾國藩對李元度打著“安越軍”的旗號，分裂湘系，十分惱火。當時，湘軍有勇敢善戰之名，不少省份的督撫都想以重利吸引一些湘軍官兵，以護衛自己的安全。李元度如果先開一例，則湘軍的團結就面臨危機。因此曾國藩決定與李元度“公私並絕，無緣再合”。

次年二月，曾國藩再參一本，將李元度革職。 曾國藩對李元度的彈劾，對他的仕途產生了很大的影響。李元度晚年曾官至貴州按察使，升布政使，也不過算是官復原職而已。曾國藩為此也覺得有負此情，有“二疚”之說。但是李元度並不埋怨他。曾國藩死後，李元度撰寫祭文說：“生我者父，知我者公，公之於我，地拓海容。”這與李嚴哀諸葛亮之死相似，可見事出公心，總會見諒於人的。