1981年3月至1982年10月任国防部长。
在北京外交部旧址附近的一所公寓中，耿飚的长女耿莹向环球人物杂志记者回忆说：“我这个父亲，上山能打猎，下水能摸鱼，出门能谈判，回家能做饭……”
在耿莹心中，父亲是个充满传奇色彩的人物，实在难用一句话概括。
耿飚的夫人赵兰香，已87岁高龄。谈起丈夫，她和女儿有相同感受：“耿飚一生的经历丰富多彩，由于工作需要，党和国家安排他在不同的工作岗位上，从事截然不同的工作，但是他在每一个岗位上都能干得很出色。”
五角大楼的特殊客人
耿莹说，父亲从童工到将军，“大风大火”了一辈子。在70多年的革命生涯中，他多半时间是在外交岗位上。
1979年1月2日，中央军委副主席、总参谋长邓小平宣布：军委决定耿飚回军队任职。
1月11日，中共中央正式任命国务院副总理耿飚兼任军委秘书长，协助军委主席处理军委的日常工作。1981年3月，耿飚又兼任国防部长。
赵兰香至今还记得耿飚回归军队的那一天。
“工作人员送来了军装，等不得我给新衣服过水，耿飚当即就‘披挂’上阵了。他一连说了几个‘好哇，穿什么都不如穿它舒服。还是红旗式的领章好，还是那颗红五星好。’”
耿莹回忆：“在父亲兼任国防部长的前后两年中，他为军队整编、民航改制、中美军事关系等问题操碎了心。”
1980年5月25日，由耿飚率领的军事代表团访问美国，走进五角大楼。
