回到家中后，看着自己年幼的弟弟妹妹(大妹启英12岁，二弟启辅10岁，小弟启勋9岁)，18岁的段祺瑞心情十分沉重。作为家中的长子，段祺瑞在父母双亡的情况下，必须承担起照顾弟弟妹妹生活的重担。

　　家庭的变故和养家糊口的重担，使得段祺瑞心事重重，愁眉不展。作为普通一兵，段祺瑞是看不到生活的希望的。时来运转的是，李鸿章在1885年创立了天津武备学堂并拟从淮军中招收学员，刚满20岁的段祺瑞听说这一消息后喜出望外，他决心要抓住这改变命运的绝好机会，于是立刻报名应征并在考试中名列前茅，最终被选入炮兵科学习。

　　两年后，段祺瑞以“最优等”的成绩从学堂毕业，随后又被选派到德国去学习军事。据说，在初选名单里本来是没有段祺瑞的，但李鸿章看到选派人员中安徽籍的只有两个人，心中十分不悦，于是把山东籍的划掉一个，而改选了一个自己的小老乡，这个小老乡就是段祺瑞。说起来，李鸿章被人称为“李合肥”，段祺瑞后来也被称为“段合肥”，这两人还真有点缘分呢。

　　到德国后，段祺瑞等人进入柏林军事学校学习。在校期间，段祺瑞还闹起了剪辫风波，因为德国人看到中国人留着长辫子，觉得十分可笑，暗地里骂他们是“中国猪”，段祺瑞气愤难平，于是拿起剪刀要剪掉脑后的辫子。这时，督学荫昌正好进来，他看见段祺瑞要剪辫子，慌忙加以制止，这才避免了一场麻烦。