1978年12月,党中央为彭德怀元帅恢复名誉,平反昭雪,彭钢同志回到部队,到总参谋部气象研究所工作,1979年8月加入中国共产党,同年底被评为工程师,1980年调解放军总后勤部指挥管理自动化研究室工作,先后任工程师、室主任;1983年借调到总后整党办公室工作,1985年任总后勤部政治部干部部副部长,后任部长。
1988年任总后勤部纪律检查委员会副书记,1990年起,任解放军总政治部纪律检查部副部长、部长;1991年6月被授予少将军衔。
在中共十三大上当选为中央纪律检查委员会委员,在中共十四大、十五大上当选为中央纪律检查委员会常务委员,为了做好纪检监察工作,彭钢同志自学了大量法律书籍,1994年10月获得了律师资格证。