1942年4月15日起任第12集团军司令，担负伏罗希洛夫格勒方向的防御任务。后该集团军积极参加了哈尔科夫战役。南方战线总崩溃后，1942年9月任第47集团军司令，参加高加索会战，该集团军且战且退，迟滞了敌军通过新罗西斯克沿黑海沿岸向外高加索的推进，使敌人未能很快据有新罗西斯克港口。1942年10月19日调任第18集团军司令，该集团军遏止了敌人的进攻，并于11月以部分兵力成功地实施了歼灭企图翻越高加索主山脉的敌塞马施集团的战役。
1943年1月外高加索方面军转入总攻后，1月5日起格列奇科任第56集团军司令，指挥该集团军在黑海军队集群地带内担任主要突击，经过激烈战斗，突破敌军坚固防御，前出至克拉斯诺达尔接近地。2—4月，第56集团军在北高加索方面军编成内，参加克拉斯诺达尔战役。9月，第56集团军在新罗西斯克—塔曼战役中，同第9集团军和第18集团军协同，解放了塔曼半岛。粉碎库班河流域的德国法西斯军队之后，10月16日被任命为沃罗涅日方面军(10月20日改为乌克兰第1方面军)副司令，参加解放乌克兰首都基辅的作战。
1943年12月15日格列奇科调任近卫第1集团军司令，任此职直至战争结束。12月24日，该集团军编入方面军主要军队集团，转入进攻，解放了日托米尔，并在日托米尔—别尔季切夫战役中向前推进了180公里。尔后，近卫第1集团军参加了1944年普罗斯库罗夫—切尔诺维策战役，在卡缅涅茨—波多利斯克市地域合围了敌坦克第1集团军。但德国这个坦克集团军却出人意料的抛弃了所有重装备翻山逃掉了。1944年近卫第1集团军在利沃夫—桑多梅日战役中，连战皆捷，和兄弟部队一起摧毁了德国北乌克兰集团军群。1944年8月5日，该集团军编入乌克兰第4方面军。1944年9—11月，参加东喀尔巴阡战役，同基里尔·谢苗诺维奇·莫斯卡连科的第38集团军和第18集团军一起越过东喀尔巴阡山脉，从德军手中全部解放了乌克兰外喀尔巴阡地区，并进抵捷克斯洛伐克境内。1945年1月，在西喀尔巴阡战役中，近卫第1集团军从北面绕过塔特拉山，通过波兰南部地区向捷克斯洛伐克的摩拉瓦—俄斯特拉发工业区突进。在俄斯特拉发战役中，突破敌军坚固的防御地区，于4月30日同第38集团军一道解放了大工业中心摩拉瓦—俄斯特拉发市。继而从捷克斯洛伐克东部边境一直打到布拉格，于1945年5月又参加了粉碎德军的布拉格战役。卫国战争时期，格列奇科指挥历次战役，一向作战意图大胆，且为实施其意图坚定不移。
战后，1945—1953年任基辅军区司令。1953年任苏军驻德军队集群总司令。1957年11月任苏联国防部第一副部长、陆军总司令。1960年任苏联国防部第一副部长兼华沙条约缔约国联合武装部队总司令。因为和勃烈日涅夫在战争时期结下的友谊（他当集团军司令的时候，勃烈日涅夫是政治部主任).。1967年4月接替马利诺夫斯基任苏联国防部部长，在中苏边界武装冲突中，当他得知阿穆尔河边防支队被中国人伏击，死伤数十人的消息后，破口大骂，极力主张对中国进行所谓的“外科手术式核打击”，摧毁罗布泊的核基地。甚至曾经一度说服总书记勃列日涅夫，若非以苏斯洛夫和柯西金为首的主和派力阻，并为和平到北京去会见中国***的话。中苏两国就打起来了。任此职期间，为进一步加强苏联防御能力做了大量工作。多次当选为党的代表大会代表。1952—1961年为苏共中央候补委员，1961年起为苏共中央委员，1973年4月起为中央政治局委员。苏联第二届和第四—九届最高苏维埃代表。他特别重视军事科学工作，曾任多卷本《第二次世界大战史(1939—1945)》和《苏联军事百科全书》总编委员会主任委员。