重返绵州，杨玉堂明白这是“自讨苦吃”，可百姓极力挽留，他便又到职。绵州遭遇大旱，粮食歉收，饥民啃食树皮，一些百姓沦为强盗。他“罄俸余赈饥”，又调动士绅捐钱米以赈灾；他带头捐资修筑旧堤，亲自监督工程。日夜操劳，须发皆白。杨玉堂已年过六旬，绵州百姓知其不能久留，自发捐款为其建生祠。
三任绵州罄俸赈饥 修筑旧堤筹措捐资
　　杨玉堂到达绵州后，本想再次请辞，但他见办团练一事还没有落实，担心一旦发生祸乱，百姓无法自保。再就是当时境内大旱，秋粮歉收，他预见第二年春天一定会发生大饥荒，于是更不忍心离去。他曾在《复龚少莲》和《禀道宪》信中自言：看此时势，真是“自讨苦吃”，但是“民命为重，身计为轻”。加之，绵州百姓殷殷请命，极力挽留。于是，他于咸丰三年（1853）八月初正式到职办公。
　　此时，一些饥民已经啃食树皮，一些百姓沦为强盗，被迫抢劫富户，形势十分严峻。又值太平军肆掠，军需紧缺，所以请求公款赈灾艰难且费时，难解燃眉之急。幸运的是，中秋之后，连续下了几场雨，灾情有所缓解，但也只能勉强维持过冬。杨玉堂一方面“罄俸余赈饥”，买粮五百石，即拿出自己所有的正俸和养廉银来赈灾。道员清秋浦、马艺林也都捐钱资助。另一方面，调动社会力量，劝富户参与赈济。在他的感召下，绵州有能力的士绅纷纷捐出钱米，不遗余力。他将筹集来的粮食储存于粮仓，准备开春青黄不接时赈济。他又令保甲上报“极贫”“次贫”户口，并派专人查访是否属实，然后登记造册。他还考虑到，如果只在城市赈济，乡村的百姓离得远，奔走不便，难以兼顾。于是，他在城乡设五厂，按照在册贫困人口分发饥票，十日一放，就近领取。这次赈灾，从咸丰四年（1854）春，一直到麦熟收获为止。
　　除赈灾外，杨玉堂每天还要清理积案，兴保甲，办团练，迎来送往，日夜操劳，胡须、头发都白了。绵州百姓交口称赞：“是役也，我公须发为白，而我民全活以千百万数。微我公，民不死即为盗耳。”从赈灾这件事上可以看出，杨玉堂心思缜密，思虑深远，正如《杨公祠碑记》中所言：“父老子弟有所为，必尽善，而要于积久。善以一人一事，公勿乐也，必数千百人千百事，乃稍喜耳。”是说为百姓做事，要考虑周全、久远。对个别人、个别事有利的事情，不是大善。要做对百姓有好处的事情。
　　绵州城东南，涪江与安昌河交汇，夏秋季节多大水，以前有堤坝，后被洪水冲毁，危及绵州城。杨玉堂带头捐资修筑旧堤，亲自监督工程，即使烈日炎炎、酷暑难耐，也不退缩，因此堤坝厚且坚固，经久耐用。绵州山多田少，读书人很贫穷，常常因为交不起院试的试卷钱而止步。杨玉堂倡议州人捐钱，用以借贷生息，作为试卷卷资，读书人院试免交试卷钱就是从此开始的。
　　绵州又是通向北方的交通要道，迎来送往差务繁重。向来是民间有财力的士绅，充当里保，供给徭役。但是他们常常入不敷出，赔钱亏累，甚至导致半数家庭破产。杨玉堂了解情况后，报经上级批准，改为民间捐款，官府统一办差，费用不足由州官“廉俸”贴补。这样一来，差务支出不再滥派滥用，州民减轻了负担。这一年，往来供应所需费用比以前多了一倍，导致杨玉堂贴补太多。大家都替他担忧，杨玉堂却说：“吾贫而民富，贫胜于富也。吾且悔是役之不早计也。吾何忧？”意思是说：“我贫穷而能使百姓富有，那么我贫穷就比富有好。我还后悔没有早实行这个计策呢。我又担心什么呢？”百姓听后，感激涕零。
　　咸丰四年六月，安县、绵竹土匪滋事，杨玉堂迅速挑选精兵强将进行追剿，一举歼灭土匪头领，擒获土匪数十人，释放情有可原之人，罪大恶极者就地正法，匪患彻底清除。上司上报其功劳，赏赐杨玉堂加知府衔。
百姓为其建祠堂
立德政碑以纪念
　　咸丰四年冬，杨玉堂已年过六旬，绵州百姓知道他不能久留，于是自发捐款为其建生祠。杨玉堂虽极力阻止，但是民意难违。咸丰五年（1855）春，祠堂落成。当时还发生了一件很神奇的事情。祠堂落成时，绵州又逢干旱，士绅邀请杨玉堂参加落成仪式，并设宴招待，宴请还未结束，天空便油云密布，下起雨来，旱情得以缓解。自此，杨玉堂在绵州有了“神君”之称。
　　杨玉堂一生三次仕绵：第一次仕绵，自道光二十五年十月至二十八年八月。第二次仕绵，自道光二十九年九月至三十年九月。第三次仕绵，自咸丰三年八月至五年春，前后共约五年半。杨玉堂已把绵州视为第二故乡，用情用力最深，政绩显著，也深得民心。《杨公祠碑记》中说，杨玉堂为政“能隐启人廉耻孝悌之心，勉于为善，故德政事功之所成就，久而弥著，感于人也益深”。就是说：杨玉堂重视教化，能够启发人的良心，使其向善，所以时间越长，政绩就越显著，对百姓的福祉也越大。杨公祠建好后，百姓、士绅春秋祭祀。据说整个清代，享受建生祠这种崇高礼遇的绵州官员，不过寥寥二三人。
　　杨公祠今已毁，祠内原来“杨公祠碑”和“州尊杨老公祖德政碑”两通碑刻，现藏绵阳李杜祠。据李戴《李杜祠碑刻》一文介绍：“杨公祠碑”立于咸丰五年（1855年）。赐进士出身、湖南安仁县令、绵州人孙桐生撰文。时任仁寿县令恒泰书丹。碑宽1.4米，高2.96米。正文楷书，字径4厘米。字迹漫漶。“州尊杨老公祖德政碑”，咸丰四年绵州士民共立。四川彰明县人、进士孙文炳撰文并书。碑为横长方形，长1.7米，高0.71米，正文楷书，字径3.5厘米。字迹清晰。据“州尊杨老公祖德政碑”记载：杨公祠原位于绵州上升街魁星楼之侧，卯山酉向，正房五楹，两廊各三楹，拜厅、铺面各五间。
　　两碑从不同角度，介绍了杨玉堂为官绵州的政绩。孙文炳在《州尊杨老公祖德政碑记》中说：“莅位以来，培学校而科甲日盛；劝农桑而户口益殷；除强暴而萑苻（盗贼）敛迹；平狱讼而囹圄无冤。一切兴利革弊，皆以实心行实政。”较为完整、准确地总结了杨玉堂在绵州的政绩。