吃过中饭后，老段一般会在内客厅睡个中觉，然后有客的时候会客，无客的时候就与棋手们下下围棋，或者找一些诗人搞搞诗会，当时王揖唐、梁鸿志等人便是段府的常客。晚饭之后，老段照例要打一会牌(麻将)。

　　段祺瑞非常喜欢下围棋，当时他还特意养了一批棋手，后来加入日本籍的国手吴清源，他小的时候便经常陪老段下棋，每月发给工资。据说，那些棋手和段祺瑞下棋时都十分识相，既不能赢段祺瑞，因为老段自尊心很强，输了他会很不高兴；但也不能多输，因为多输的话，会让段祺瑞看不起。

　　据称，有一次段祺瑞和儿子段宏业下棋。棋到终盘，段祺瑞大负，气得他跳起脚来，把棋盘掀翻，并怒斥段宏业道：“你这小子，一无所能，就知道玩这个，你以后有什么出息？”段宏业被斥后，只得诺诺而退(想必儿子输给了他，段祺瑞又会笑骂：“你这小子，连个棋都下不好，你以后还能干什么？”)。段宏业是到段祺瑞的大儿子，平时最喜欢吃喝玩乐，素无大志，他在外面一向是花天酒地，唯独见了老段就像是老鼠见了猫，大气也不敢出一声，这不，赢了棋还被老段斥责一顿，他屁也不敢放一个。

　　唯独有个小棋手却不畏惧段祺瑞，这就是后来成为著名棋手的吴清源。吴清源做段府的棋手时年纪还小，也最受段祺瑞的喜爱。他在和老段下棋的时候到是毫不客气，俩人经常能下个旗鼓相当，但随着吴清源水平的不断提高，段祺瑞和他对弈往往输多赢少，后来也就不再和他下了。吴清源后来入了日本籍，成为日本围棋界的一流高手。