常遇春出身清貧，少年時期，不甘心於一輩子默默無聞，老死田間，因此隨人習練武術。成人後，常遇春長得是身高臂長，力大無量，不只精於騎射，而且十八般兵器樣樣通曉。

元末，社會黑暗，百姓飢寒交迫，可以說是生活在水深火熱中，身懷絕技的常遇春無法忍耐飢餓的折磨，投靠了活動在懷遠、定遠一帶的綠林大盜劉聚。

至正十五年四月，常遇春隨劉聚在和州搶掠時正巧遇上朱元璋率軍攻和州。他親眼目擊了朱元璋平易近人，視士卒如弟兄，也看到他的部隊紀律嚴明，不禍患百姓。他下定決計，棄盜為良，在和州投靠了朱元璋。

朱元璋率軍渡江南下時，在著名的採石磯大戰中，元兵守將海牙借天時緊密防衛，義軍的數次衝鋒被擊潰後，戰役意志有些低沉，在這危在旦夕之際，常遇春乘一艘小船，左手持盾，右手揮戈冒著亂箭衝鋒向前，衝到岸邊時，岸上的元軍守將挺槍來刺，常遇春側身避過，抓住長槍，順勢朝前一躍，縱身登岸，刺死守磯嘍羅老星卜喇，左衝右突如入無人之境！

朱元璋的義軍頓受鼓舞，一湧而上擊潰蠻子海牙部。這一戰常遇春名聲大振，後人將此事稱作“常將軍力拔採石磯”！

1357年，他帶兵進攻寧國，不幸身中流矢，但執意不下前線，裹傷再戰。爾後連克寧國、池州、婺州等城。隨朱元璋軍救援安豐的劉福通，抵達時呂珍已殺死劉福通，率兵據守，朱元璋左右軍都戰敗，常遇春橫擊其陣，三戰三勝，俘獲戰士馬匹無數。

1367年，朱元璋為了徹底推翻元朝，命徐達為主帥，常遇春為先鋒率二十五大軍北伐，北伐軍從安徽一路打到元大都！

北伐期間，明軍在洛陽的塔兒灣與元軍遭遇，常遇春二話不說，單騎突入敵陣，麾下勇士從之，驍勇衝殺，在洛水之北擊潰元軍五萬，俘獲無算，史稱塔兒灣大捷。這一仗，佔領了河南和潼關，攫取了陝西的門檻，為攻取元大都發明瞭極為有利的形勢。

洪武二年七月七日，常遇春從上都凱旋歸來，行至柳河川，得暴病卒于軍中，年僅四十歲。按《倚天屠龍記》的說法是當時張無忌給他治病的時分折了一半陽壽。也有人說常遇春這終身屠戮太多，遭到天譴。

朱元璋聞喪大為震悼，賜葬鐘山之下，並親身出奠。