1940年，科涅夫被授予中將的時候，蘇軍很多人不服氣。圖哈切夫斯基元帥生前就看不上他，認為這類政工出身的人，根本不懂作戰，長達6年的時間裡不僅沒有提拔他，還降了他的職務。

是金子總會發光，但是過程中的曲折有時會讓人崩潰。1941年6月22日蘇德戰爭爆發，德軍閃電戰所向披靡，蘇聯百萬大軍潰敗，邊境的幾位高階將領被送到軍事法庭。科涅夫作為其中之一，因為丟失地盤、損失軍隊都比較少，而被稱做“永不後退的將軍”，得到了蘇軍最高統帥部的認可，並在9月份升為上將，替代老一代元帥鐵木辛哥的西方面軍司令職務。

半個月後，基輔丟失，德軍中央集團軍群在打贏基輔戰役後，開始進攻莫斯科。鎮守莫斯科橋頭堡維亞茲馬——布良斯克的科涅夫不容有失，因為他指揮的西方面軍身後就是莫斯科。

但，他卻獻給了世人蘇德戰爭中最大悲劇之一：

德軍聚集了180餘萬人、1700輛坦克、1390架飛機；而蘇聯西方面軍只有125萬人、995輛坦克、677架飛機，劣勢明顯，戰鬥素質和士氣皆不及德軍。謹記最高統帥“不丟失領土”原則的科涅夫將軍隊全面開啟，沒有安排縱深。結果德軍的裝甲兵團迅速移動，很快的就合圍了科涅夫的大軍。這個過程中他幾次請示上級，沒有得到撤軍的批准，不敢擅自下命令，終於導致百萬大軍崩潰，67萬蘇軍被俘虜，局勢震驚，美英對蘇聯的抵抗信心也出現動搖。

蘇聯失去了守衛莫斯科最有力的武器，不得已把大使館、參謀部、工廠、機關等搬到了古比雪夫，莫斯科只留下了最高統帥和當時還是少將的副總參謀長華系列夫斯基，實際上因為科涅夫的失誤，蘇聯已經遷都了。科涅夫此敗後，莫斯科的命運如何，蘇聯人自己也失去了信心。

蘇軍副總帥伏羅希洛夫元帥要把科涅夫送到軍事法庭，照理說這合情合理。

好在這個時候，剛剛取得葉利尼亞突出部戰役勝利、成功守衛列寧格勒的朱可夫元帥也回到了莫斯科，他曾經在白俄羅斯與科涅夫共事，瞭解其才華，於是向最高統帥求情，希望科涅夫能做自己的副手。當時戰爭緊要關頭，“救火隊員”朱可夫面子很大，所以救了科涅夫。

兩天之後，朱可夫表示西方面軍規模太大不利於指揮，將其中的三個集團軍組成了加里寧方面軍，請求蘇軍最高統帥部讓科涅夫繼續擔任方面軍司令，獲得批准。

這個情節在經典電視劇《亮劍》中被模仿：孔捷包圍首長不利，差點被派去養馬，李雲龍跟旅長求情讓孔捷做副手，孔捷不久之後就去別的團當了團長。

科涅夫果然沒有辜負朱可夫，他指揮的加里寧方面軍頗有節奏，拖住了德軍，為朱可夫的西方面軍大大減輕了壓力，成功守住了莫斯科。

1941年12月，得到領袖命令，要把德軍趕出蘇聯，蘇軍組織莫斯科反擊戰。朱可夫回憶錄中提到，他當時請求得到200輛坦克截斷德軍後路，結果蘇軍條件無法滿足。這就導致了蘇軍永遠追不上德軍，德軍時不時能夠利用機動性蠶食反擊中的蘇軍。與此同時，蘇軍炮彈嚴重不足，西方面軍每門大炮每天只能發射1-2枚炮彈的定量。

這種情況下，科涅夫遵守命令進攻，結果損失很大，結果還受到了批評，他內心終於出現了一些不成熟的想法。

1943年，蘇軍策劃全面反攻，科涅夫指揮西北方面軍負責列寧格勒方面的反攻。但是他認為機會不成熟，拒絕執行命令。蘇聯領導人撤了他的職，將他後方任預備隊草原方面軍司令。

1943年斯大林格勒戰役勝利後，朱可夫、華西列夫斯基成了元帥，本來還不如他的羅科索夫斯基和瓦杜丁成了大將，他還是上將。

1943年7月，德軍曼施坦因元帥指揮南方集團軍群，集合了德軍大多數家當，準備合圍羅科索夫斯基的中央方面軍和瓦杜丁的沃羅涅日方面軍。朱可夫和羅科索夫斯基堅守陣地，卻無法顧及瓦杜丁，瓦杜丁戰術失誤，防線被曼施坦因突破，眼看就要失敗。

半年來，在後方重點打造草原方面軍機動能力的科涅夫終於得到機會，最後加入戰場，卻起到了扭轉乾坤的作用。在T34坦克火力、射程和裝甲不及德軍新式坦克的情況下，科涅夫讓大量T34衝到德軍坦克身邊近戰，德軍優勢當然無存，這就是名垂軍事歷史的庫爾斯克坦克大會戰。曼施坦因和德國的最後一搏宣告破產，開始撤退。科涅夫趁機解放此前蘇軍三次慘敗之地烏克蘭哈爾科夫，莫斯科鳴禮炮慶祝。

庫爾斯克會戰之後，科涅夫終於晉升大將。本來因為抗命而討厭他的領袖，發現他很會打仗，開始變得喜歡他。隨後他再次接受命令：殲滅曼施坦因南方集團軍群主力，瓦杜丁負責率兵阻擊德軍救援。科涅夫在勸降德軍未果後，下令全軍進攻，有些德軍士兵準備舉手投降時被砍斷了手，戰況慘烈。但科涅夫卻因為果斷的戰鬥風格，只用了十幾天就消滅了德軍主力，沒有給曼施坦因救援時間，科涅夫此戰後晉升元帥，他也因此被稱為“冰原血屠元帥”。

1944年追擊曼施坦因時，烏克蘭的春天已經到來。科涅夫率領的軍隊為了能夠加快速度，在泥濘中推著坦克追擊，一個月前進了600公里，德軍懼怕，只能“光著屁股”，放下重武器逃跑。德軍從1941年戰爭爆發之後，就始終為蘇聯境內大部分時間的泥濘而傷透了腦筋。從戰鬥意志上來看，科涅夫所率領的蘇軍，比德軍更強悍是沒有任何爭議的。