1945年7月,任[[基辅军区]]司令员。
1953年5月26日,任[[苏军驻德集群]]司令员,期间,他参与处理了总司令员,期间,他参与处理了[[六一七事件]]。<ref>苏联部长会议发表驻德奥军政官员新任命 前苏联驻德占领军总司令崔可夫上将转任国防部负责工作. 人民日报, 1953年6月8日第4版</ref>
1955年3月11日,被授予[[苏联元帅]]军衔。<ref>苏联最高苏维埃主席团晋升一批苏军将领. 人民日报, 1955年3月18日第4版</ref>
1957年11月12日,任[[苏联国防部]]第一副部长兼[[苏联陆军总司令]]。
1958年2月1日,根据[[苏联最高苏维埃主席团]]令,向格列奇科授予[[苏联英雄]]称号,以表彰他在与纳粹侵略者的战斗中表现出无畏和英勇。<ref>比留佐夫等三位元帅荣获苏联英雄称号. 人民日报, 1958年2月3日第6版</ref>
1960年4月7日,任[[苏联国防部]]第一副部长,同年7月,兼任[[华约武装力量总司令]]。<ref>华沙条约武装部队总司令 科涅夫辞职格列奇科继任. 人民日报, 1960年7月26日第5版</ref>
1967年4月,任[[苏联国防部长]]。在担任国防部长时期,他组织了[[华约入侵捷克斯洛伐克|苏联以及其它华约国家入侵捷克斯洛伐克]]的军事行动。