1870年，张兆栋升补漕运总督，主张疏浚河道以调剂海运。一年后因表现突出，补授广东巡抚，他积极参与洋务运动，设置军火厂。张兆栋以广东巡抚兼署两广总督这一年，不计较个人的名利，在海防大筹议中代为呈送丁日昌所写的《北洋水师章程》。张兆栋还在省河、虎门，组织动工重建炮台，加强防卫力量。
坚持疏浚河道 设一处军火厂
　　1870年，张兆栋在江苏布政使任上升补漕运总督。
　　当时有人认为海运更方便，而运河久久无法修缮，已经荒废。面对此，张兆栋提出了自己的看法：“海上如果有敌情，那么运输就会受到影响，所以必须疏浚河道，来调剂海运。”他极力主张疏浚河道，为朝廷所采纳。此外，漕运总督驻节江苏山阳县。当时正值兴修县志，张兆栋欣然为其作序。
　　1871年，因为各方面表现突出，张兆栋补授广东巡抚。来到广州之后，张兆栋积极参与到洋务活动中来。1873年，张兆栋和两广总督瑞麟上奏朝廷，认为：军火物资均从西洋购买，耗费巨资，而且有时候轮船汽机时常有所损害，必须要去香港修理，程序繁琐不已。倒不如购买机器自行制造军火，如此可以省去许多麻烦。
　　于是，他们便决定创建军装机器局，并委派专人负责。该局购有车床、刨床等，可以仿造西洋枪炮、火药，修理轮船。但是因为该机器局设置于省城之中，地方狭窄，在1875年，张兆栋又设置了另外一处军火厂。后来两广总督刘坤一又添设一处机器厂。这便是时人所说的广州机器三局的构成。
代丁日昌呈送《北洋水师章程》
　　1874年，两广总督瑞麟去世，53岁的张兆栋以广东巡抚兼署两广总督。这一年，他参与了近代晚清历史上的重要大事：海防大筹议。
　　缺乏近代海权观念的清王朝屡屡失败，如何抵御外侮成为许多人的疑问，但这一过程异常艰难。1871年，琉球渔民在中国台湾避风时被杀，此事本与日本无关，但日本以保护琉球为由，于1874年派出3000多名日本士兵在西乡从道的带领下，侵略中国台湾。但战事并不顺利，日本考虑到并不能即刻占领中国台湾，转而采取外交途径。清政府与日本政府签订《台事专条》。清朝赔偿白银50万两，日军撤兵。
　　这是无比耻辱的条约，引起了极大轰动。一衣带水的邻居日本，推行明治维新仅仅几年，便可与清廷讨价还价，这给予清朝统治者极大的震撼。此事结束后，奕䜣上奏检讨过失。清廷也下令要求各地方大员尽快提出海防建设的相关建议。一时之间，地方大员纷纷上奏条陈。这便是海防大筹议。
　　地方大员提出的诸多意见和建议已不局限于海防了。由于此时西北边疆也发生了战乱，面对局势，朝野基本分为两派。一方要求加强海防，一方要求加强塞防。而清廷最后也决定要同时注重这两方面。在这次讨论中，张兆栋代为呈送的是丁日昌所写的《北洋水师章程》，对当时的问题大讨论起到了一定的作用。
　　在《北洋水师章程》中，丁日昌等人提出了招募善于驾驶之人、修建炮台、选拔精干士兵和优秀官员等措施；同时还提出，北洋、东洋、南洋要联合，并在三地分别设立都督。这些措施高瞻远瞩，对于当时海军的发展具有一定意义。
　　虽然在海军建设上，丁日昌提出了许多宝贵意见，但是在当时，时人对他的私德颇有怨言和谴责。不过在这次讨论中，他赢得了许多人的关注。张兆栋为了国家大计，积极为海军建设积极奔走呐喊，不计较个人的名利，甘愿为丁日昌之言论背书，也值得后人敬仰。
重建炮台加强海防
为维护安定作贡献
　　张兆栋不仅仅是参与到海防大筹议当中，更重要的是，他用自己的实际行动来发展广东的海防事业。
　　虎门、省河原建的各处炮台，在第二次鸦片战争中都被焚毁。在当时两广总督瑞麟和兼署两广总督张兆栋的带领下，开始在省河、虎门动工重建炮台，加强防卫力量。
　　在担任广州地方官的过程中，张兆栋为维护地方安定作出了一定的贡献。当时的州县官员希望老百姓可以打官司，因为在民事官司中，官员、胥吏可以从中捞取一定的好处，但是对于盗窃这一类的刑事案件，地方官员却避之不及，因为这一类案件若处理不好，很可能会影响地方官的声誉。对于此，张兆栋严格要求地方官员，不能因为是盗窃案件，就文过饰非，敷衍处理。
　　
　　为六榕寺佛塔重建题词
　　帮陈介祺购买侯驭方鼎
　　在广东任职期间，张兆栋还主持修建了六榕寺佛塔。这背后有一段精彩的故事。六榕寺始建于南朝刘宋时期，当时仅有一座佛殿。后历战火洗礼，直到宋朝，因为乌台诗案的缘故，苏轼来到此地，游览之余，见到六株古榕盘根错节，苍翠挺拔，如饱经沧桑的耄耋老者，于是写下遒劲有力的“六榕”墨宝相赠，后人便称之为六榕寺。1874年，六榕寺重建，此时的张兆栋欣然为其题词，写下了《重修六榕寺佛塔记》，流传后世。
　　在广州任上，张兆栋还帮助同乡陈介祺完成了一件大事。陈介祺是清代著名的金石学家，因为厌倦官场，回到故乡潍县，专门从事金石文字之学。张兆栋与陈介祺的关系比较密切，张兆栋在广州任上，受到陈介祺的委托，帮助协商收购叶志诜收藏的2700多方古玺印。张兆栋在广东多方寻找，最后查明这批古玺印被收藏家何昆玉收购，于是张兆栋又多次动员何昆玉将其卖给陈介祺。在后来的日子里，张兆栋还帮助陈介祺购买周代侯驭方鼎，经过一番努力，最后办成了这件事情，可以看出，两人的关系较为亲密。