在总参谋部，邓小平任总参党委第一书记，杨成武任第二书记。但是，邓小平在讲话中却谦虚地说：“成武同志是咱们的班长，我只是挂名而已。”

　　杨成武是有自知之明的。早在建国初期，中央军委决定让他担任华北军区副司令员，那时他的老领导刘澜涛、朱良才还在担任军区副政治委员，他主动提出自己还是担任参谋长比较适合。后来他到总参谋部工作，经常说：“参谋、参谋，就是要参与谋略；总参、总参，就是最高统帅部的参谋。”他还称自己是一名“大参谋”。这些话，在总参谋部是尽人皆知的。

　　杨成武在邓小平的领导下，作为他的得力助手，大力协助他做好总参谋部的各项工作，使总参谋部尽快从“文化大革命”的阴影中摆脱出来，各项建设逐步走上正确的轨道。

　　杨成武根据邓小平关于“军队要整顿”的精神，首先在总参推行，而后推向全军，在部队全面展开纠正一些部队领导班子“软、懒、散”和部队中不同程度存在的“肿、散、骄、奢、惰”问题，取得可喜的成效，进一步肃清林彪反革命集团的恶劣影响。

　　在抓军队建设的过程中，杨成武紧密联系实际，反复学习邓小平关于军队建设的一系列论述，深刻地认识到：“邓小平冷静地观察和科学分析新时期世界形势和国际战略格局的变化，适时地提出和平与发展是当代世界的两大主题。当代和平力量的发展超过战争力量的增长，争取较长时间的和平环境是可能的。我们要适应国内外形势的变化，把军队建设的指导思想，从过去的临战状态，转到和平建设的轨道。”

　　杨成武说：“邓小平的这一重要思想，是我重新回到总参后工作的总的指导思想。”

　　杨成武在向邓小平汇报工作时，邓小平对军队精简整编工作做了重要指示。此后，在相当长的一段时间内，杨成武集中精力狠抓精简整编的落实，使部队面貌发生很大的变化，并把节省下的军费用于军队的现代化建设。

　　后来，邓小平再次被批判，并被免去—切军政职务，叶剑英也被剥夺主持中央军委工作的权利，军队面临着严重的局面。在这段时间内，杨成武经常和叶剑英、聂荣臻见面，通电话。叶剑英严厉斥责“四人帮”倒行逆施，妄图反军乱党、抢班夺权的阴谋。杨成武按照叶剑英的指示，机敏地对“四人帮”的阴谋活动进行抵制和斗争。