祸不单行，孙殿英被赶出学堂不久，又不幸染上了天花，因无钱医治，只好听天由命。也算他命不当绝，在连续昏迷了三天三夜之后，终于又睁开了眼睛，从阴界返回了阳间。只是自此那黑黝黝的脸上，落了一脸的麻坑，而后“孙大麻子”的名号便紧随他一生。
劫后余生的孙殿英母子眼看在西杨楼村搞得灰头土脸，四邻皆恶，感到无法再混将下去，便返回小马牧集孙家庄老家，整日靠乞讨拾柴，艰难为生。在这段日子里，母子俩尝尽了人间的辛苦，看够了四邻八舍的白眼冷面。家庭的不幸和生活的艰难，给少年孙殿英带来心灵创伤的同时，也塑造了他复杂多变的性格。
孙殿英长到十三四岁时，因在家闲闷，便经常跑到马牧集镇游荡，并结交了一些顽劣少年。在长期的厮混中，孙殿英凭着自己的虎背熊腰和聪明诡诈，逐渐成了这帮浪荡少年的小头目。闲来无事，他们就集聚在一起掷钱赌博。清朝铸钱分两面，一面铸有“康熙通宝”或“乾隆通宝”，称作字；另一面则只铸有两个满文，称作面。赌时需将三枚铜板平放在手心，往下一撒，使铜钱落到下面的硬石板或砖面上，任其颠簸，以事先规定的字与面为输赢。这种赌博游戏几乎人人都会，可无师自通，输赢也全靠运气。但孙殿英却在其中大动脑筋，尽使才智。每当回到家中，他便独自拿着几枚铜钱，反复揣摩其轻重与质地，并分别撒在地下，验看每次撒下需要距石板或砖面多高，铜钱落下后需颠几番才能达到预期的设想。经过日夜揣度测试，终于掌握了其中的规律。自此之后，每次聚赌，他要字有字，要面来面，总是十不差一。这群浪荡少年中，不乏家中有资财者，每当聚赌，孙殿英总是像魔术师一样将对方的钱赢得精光，全部装进自己的腰包。天长日久，浪荡少年们见自己总是屡屡败北，只输不赢，出于自尊和囊中羞涩，渐渐对与孙殿英赌博失去了信心和兴趣。孙殿英窥出了同伴们的心思，怕这群人都因输光而不再捧场，断了自己的财路，便迅速改变战略战术，每次聚赌都是适可而止，绝不贪多，并时常摆出一副侠义姿态，把赢到手的钱再分给同伴一些。这样，那群浪荡少年怀着既感激又佩服的心情，重又围在孙殿英身边久赌不散了。聪明狡猾的孙殿英正是靠了这点雕虫小技，用赢来的钱孝养母亲，并度过了艰难困苦的少年时代。