特别是“天安门事件”后，“四人帮”力图从三总部“开刀”，妄图以所谓“第二武装”代替解放军，搞乱搞垮军队，全国也面临着严峻的局面。杨成武按照叶剑英的指示，把全部精力都用在稳定部队方面，严防“四人帮”插手，搞乱军队，以保持全国的稳定。叶剑英还提醒杨成武，江青一伙什么事都可能干得出来，要特别注意保护邓小平和其他老同志，为此杨成武亲自对有关单位做了许多精心的安排。

　　为了牢牢地掌握三军的指挥权，坚决避免军队被江青一伙利用，杨成武还根据叶剑英的指示进行两次指挥三军的“演习”。1976年6月，福州军区司令员皮定均因飞机失事而殉职。叶剑英抓住时机，指派杨成武、梁必业和张震等立即飞赴闽赣地区，调查处理此事，并检查东南沿海战备情况。在唐山发生大地震后，叶剑英再三指示杨成武要紧紧掌握部队的调动权、指挥权，防止江青一伙趁机插手军队，指挥和控制军队。在整个抗震救灾过程中，总参谋部先后调动部队10余万人，其中包括北京卫戍部队，准确而有效，没有给江青一伙任何可能插手的机会。事实证明，虽然邓小平、叶剑英被罢官，但威望犹存，众望所归，人民解放军的指挥权还牢牢地掌握在老一辈无产阶级革命家的手中。

　　在邓小平第三次重新上台工作后，杨成武继续在邓小平、叶剑英的领导下，在总参谋部狠抓揭批“四人帮”的运动；开展“十个应该不应该”的大讨论，把“四人帮”颠倒的是非纠正过来，彻底肃清其流毒。

　　对于邓小平理论，特别是关于军队建设方面的论述，杨成武理解深刻，联系实际，努力贯彻到总参谋部的工作之中，全面加强总参谋部自身建设，加速推进有中国特色的军事变革。他强调领导机关要坚决贯彻中共中央、中央军委的战略决策，贯彻邓小平关于军队要“整顿”、要“消肿”的思想，以新的军事战略方针为依据，以军事斗争任务为牵引，狠抓全军军事工作的谋划指导，及时为中共中央、中央军委出谋划策，或提供参考意见，深得邓小平、叶剑英的赞许和信任。邓小平的秘书说：“小平同志对杨副总长非常信任，凡是他批阅过的报告，小平同志多数是看也不看就照批了。”