军队作战，需要征粮、筹款、派夫等后勤供应，因此，便要占有固定的防地，享有便宜处置管内行政、财政的权力。岳家军因为军队庞大，所管辖的州县比起其他部队自然要多出好几倍，而且岳飞战区随着战事推进还在扩展。加之幕僚队伍也在一天天扩大，大批读书人来到岳家军，他们为军队书写文书、布告、奏章，甚至参与政治谋划和军事行动。而这正是执政的文官集团最不愿看到的。这批读书人不但在文书布告上激扬文字，借机宣泄自己的情绪，而且还处处臧否时政。岳家军的文告奏疏常常引起朝臣们的强烈不满，但这些都被岳家军取得的一系列胜利而掩盖了。

　　一开始和岳飞发生冲突的恰恰就是主战派的重要人物张俊。张俊原为翰林院编修官，因勤王有功，且力主抗金，受到高宗皇帝的信任，迁知枢密院事，相当于今天的军委秘书长。他指挥全国的抗金军事行动，直接对皇帝负责。但知枢密院事只是个正二品的文官，而受他指挥的岳飞因军功赫赫已被皇帝拜为太尉，官居一品。将帅之间的关系便显得很微妙。绍兴七年(1136年)岳飞计划乘金人废刘豫之机，合诸将之兵北伐。皇帝亲自接见了他，赞许他的计划，并下诏将王德、郦琼两支部队交由岳飞统一指挥。但张俊不想岳飞军力太过扩张，想另外安排这两位将领，于是找岳飞商量。岳飞认为如果那样安排，恐怕两人不服。张俊当即变脸说：“我当然知道，除非太尉(指岳飞)，谁都不能胜任。”岳飞与张俊发生冲突，心情也很不愉快，当日便上奏章，要求解除兵权，回去为母亲服丧。张俊大怒，上奏说岳飞处心积虑一意想兼并其他部队，提出回家服丧，是对皇帝进行要挟。而秦桧在一旁也流露出“忿忿之意”。在皇帝的默许下，张俊不但坚持自己的安排，并且还派都督府参谋官张宗元担任岳飞军队的监军。这引起了岳家军将领的强烈不满。岳家军主将张宪称病不理军务，其他将领如法炮制。而且“部曲汹汹，生异语”。这件事更增加了朝廷上层文官集团对武将的疑虑。岳飞被杀，秦桧便是从这里打开缺口，找到陷害的理由。