在其他人已经学成回国后，李鸿章再次指派段祺瑞前往克虏伯兵工厂实习，以熟悉并学习世界最先进火炮的制造和使用技术。直到1890年底，25岁的段祺瑞才返回国内，在进入北洋军械局不久，又调入威海随营学堂充当教习。可惜的是，当时的清军对这些军校毕业生不甚重视，他们中的大多数人都是被委以教习之类的闲职，而没能进入军营中做带兵官。当时的军界风气，那些行伍出身的旧派军官大都看不起军校毕业生，他们认为这些娃娃兵没有实际作战经验，不能委以重任，即便段祺瑞这样留洋回来的优秀军官，也屡屡遭到这些旧军官的排挤。

　　直到袁世凯的“小站练兵”后，那些军校毕业生才开始得到重用。当时袁世凯请当时任天津武备学堂总办的荫昌推荐人才，荫昌很自然的便想到了段祺瑞，并将他推荐到袁世凯的门下。袁世凯的新建陆军是一支拥有步兵、骑兵、炮兵、工程兵等多兵种的新式部队，其中炮兵就有近2000人，段祺瑞随后被委任为炮队统带，并得到袁世凯的极大重视。当时段祺瑞带的这支炮队有速射炮、重炮等60门，战马近500匹，这也是中国近代历史上第一支正规化的炮兵部队，段祺瑞也可以说的中国第一任炮兵司令。

　　随着袁世凯的不断升迁，段祺瑞也跟着沾光，陆续做到了北洋六镇的统制之职。在清朝覆灭后，段祺瑞做过几任陆军总长，后来因为反对袁世凯称帝而隐居西山。袁世凯死前，命人将段祺瑞找来并将国事托付给他，段祺瑞也由此做上了民国的内阁总理，成为当时最重要的政治人物。

　　段祺瑞的为人一向古板严肃，不苟言笑，给人的印象是不太好打交道。他平时的生活也是很有规律，一年三百六十五天基本没有什么变化。一般情况下，他都是在家吃早饭，随后上书房看公事；看完公事后去衙门，中午再回来吃饭。