明朝走向灭亡，朝代更迭带来的社会动荡粉碎了张贞的科举梦，他认为治国平天下的政治舞台已经失去，便绝意仕途，隐居安丘杞城村中摭拾考据，著书立说。
厌恶科考取仕
一再辞官不就
　　封建社会中举进仕依靠写好八股文。这种制度下，一些有真才实学的人往往名落孙山，在十七、十八世纪批判八股取仕是一种思潮。经学家顾炎武就认为“天下之病民者有三：曰乡宦、曰生员、曰吏胥”。张贞与顾炎武齐名，时有“南顾北张”之说，也从骨子里厌恶科举。尤其因王朝易祚，胸中郁积块垒，所写文章不合新朝而屡不能中，致最后干脆放弃，不再有入仕之心。后来统治阶级对一些满腹经纶、有名气却不热衷科考者，出台笼络政策，开设博学宏词科招贤纳士。
　　于是经地方推荐，张贞参加了康熙十八年（1679）举行的太和殿御试，以全国第三名的成绩证实了实力，然而看到自己榜上有名时，却又陷入犹豫，最终决定不做“贰臣”，坚持初心。
　　此时正值老母去世不久，张贞便以丁忧期间不能出去做官为由回绝。这个理由倒是情真，由于很小的时候没了父亲，张贞特别孝顺母亲。康熙七年（1668），山东遭遇大地震，他当即跑去救母亲，结果与妻子被困于房中陷入昏迷，第二天才醒，他后来给这座房子起名“续梦堂”。
　　康熙二十四年（1685）下半年，48岁的张贞又被州府推荐进京参加博学宏词科应试。是丢命保节，还是丢节保命，张贞两样都不想丢，政治高压下，遵命去参加太和殿的御试，现场作一首《赋得阳初动处》：“一片冰霜冻不开，谁知黍谷律将回。五纹欲试深宫线，六管初飞至日灰。雪里柔条先变柳，风前花萼渐舒梅。园邱快睹迎阳礼，应有春从天上来。”
　　凭借此诗，康熙帝钦点又是第三，授翰林院孔目，随后改为待诏。然而，他骨子里还是不想背叛恩受明朝俸禄的父辈，只想干干净净活着。故不去打点，乐于一直“待”着未去赴任。
　　这一不寻常举动令朝野士人刮目相看。屡屡辞官不做，反映出骨格气节及浓厚的忠君思想，私下已公认他为山东儒家文人的代表。
隐居杞城村中 历时17年著成《杞纪》
　　为避免各级衙门骚扰，张贞决定从县城南门里隐居到乡下。
　　到底去哪儿呢？当时，张贞打算写一部与安丘有关的有分量的史书《杞纪》，杞，即周朝时从河南迁山东杞国，据传曾迁徙安丘县城东北30公里的杞城村，只是对于杞国历史，连春秋时期的孔子都认为，杞国无文献可考。但张贞决心突破，将杞国历史考察清楚，便选择杞城为隐居处。
　　张贞从家藏万卷的“宝墨楼”挑选了千卷研究杞国的书籍，搬到杞城村前的张家庄村。
　　《安丘地名志》记载：“张家庄子……耕地2650亩。相传，安丘城里张氏于清初迁来建村，买地数顷，广揽佃户以耕种其土地。因张姓是庄主，故名张家庄子。”
　　据张贞记述，他隐居杞城始于康熙二十八年（1689），年52岁，没有提逃避官场原因，而是因为衰病摧颓，加之骨肉凋索，人理顿尽，他心虑荒散，移家其间，以摄养余年。
　　张贞把带来的图书建筑“余柳轩”存放，共计440卷（本），《杞纪》就是择阅这400多种经、史、子、集及杂著等书而成。他不畏艰辛，查阅、摭拾资料，历时17年于康熙四十五年（1706）完成，共煌煌22卷，17万字，分图考、星土、舆地、山川、系年等19条目。记载春秋杞国兴衰及其地理变迁，可补正史之阙。
　　王渔洋为该书撰序，中有“杞园张先生居杞城别墅，作《杞纪》，自星土、舆地、山川、人物而外，有封建、年表、世次、原古、分国、系家、苗裔、春秋经传、经传别解凡22卷，引书逾400种。余读一过，曰：异哉！可谓体大而思精矣……今而后，知其良史才也”。他还称赞张贞史才“迈汉唐诸家而直追步司马子长”。
　　《续修四库全书提要》称此书“前列所引书目至数百种，考据精详，所引皆注出处，洵足为后世所取法……昔孔子有杞宋文献无征之叹，今私人之着，能如此详赡，亦足以慰圣人矣”。
　　目前《杞纪》还是研究杞国历史人文的主要文献，上世纪初被录入国史馆，张贞因此书成为历史考据学的奠基者，影响深远。《山东通志》称其为“文章巨手”。清嘉庆十五年（1810）仪征程静轩夫子赞“清之上史馆”。《清史列传》称其“可在愚山施闰章、尧峰(汪琬)间展一席之地。”
所著个人文集入国史馆 编写地方志书留后世
　　张贞入国史馆的另外一部文史专著是《渠亭山人半部稿》（简称“半部稿”），为张贞个人文集，文集与众不同处是有文无诗。张贞也善诗词，可他自以为诗不如文，就没有收录，故称“半部”。这在他的自序中有说明：“余束发时，业好读诗古文词。及自操觚，则为文而不为诗，即偶为之，终以不似。盖其天性也。违己拂性之事，生平弗为，故卒舍诗而为文。”
　　《渠亭山人半部稿》前后共五刻五卷。初刻《渠亭文稿》，刻于清康熙二十八年；二刻《或语集》，刻于清康熙三十二年（1693）；三刻《潜州集》，刻于清康熙三十六年（1697）；四刻《娱老集》，刻于清康熙四十七年（1708）；五刻《遗稿》附于《娱老集》后，版心下有“续梦堂”字，刻于清康熙四十九年。时间跨度长达21年，收录张贞各个时期撰写的文史文章267篇，先后由有高珩、王士禛、宋荦、李澄中、程邃、余怀、汪耀麟、安致远等25位名人作序，可谓前无古人后无来者。
　　初刻本当时叫《渠亭文稿》，序言由淄川崇祯进士、曾为顺治朝吏部、刑部左侍郎的高珩所写。康熙二十六年（1687年）秋天，张贞游淄川，向75岁、已退休家乡的高珩展示文稿。高珩高度评价，并答应作序。高珩据实写道：“丁卯之秋，杞园张君过予，负郭开樽，谭谐甚适。已而，以《渠亭文稿》示予，盖数年前偶得杞园古文一二首，即以大家许之，今知予言不谬也。”
　　张贞还是一位有贡献的地方志学家。他参加编写康熙《续安丘县志》并作序。据旧志编纂《青州乡贤小传》并序，又搜集安丘先贤45人成《安丘乡贤小传》并序。另外，还著有《青州府志》《张氏家乘》《张氏族谱》，部分见载于《府志·理学传》《增广府志·文学志》《山东通志·人物传》等。另外，自隐居杞城后，他对我国农具演变作了考证，为百姓写了一本《农具图本》传世。还著有《浮家泛宅图诗》，载于《山东经籍志》中。