面对日益恶化的环境，安丘县委不得不再一次撤退。组织部长潘墨卿提出留守安丘坚持斗争的要求，得到了地委批准，他代理安丘县委书记，此后的安丘县委进入抗战最艰难困苦的岁月。
崔杰千返回沂蒙 潘墨卿留守坚持工作
　　不料，敌人接下来采取的手段更加毒辣。厉文礼、李瀛仙（国民党安丘县党部书记）都组织了暗杀团，主要目标还是崔杰千、潘墨卿、徐欣三、赵季武，敌人不知道，赵季武编入主力后并没回安丘。县委天天处在危险之中。
　　1939年9月，当八路军胶东交通营路过安丘五区，崔杰千决定，安丘县委成员随交通营返回沂蒙山区，请二地委重新分派工作。但组织部部长潘墨卿自觉社会关系多，尚能工作，并不想走。他对崔杰千说：“都走了也没法向党员同志们交代，已经进行的工作会受到严重影响。”表示愿意留下来坚持工作。崔杰千考虑了一下说：“那也好，我们回地委汇报后，再作决定。”
　　崔杰千在临走前对留守人员有所安排：一是去见了五区区委书记沈宝然。告知他自己要返回沂蒙山，待机返回领导抗日。“你和潘墨卿留下，好好配合坚持工作”。二是到慈埠店子听刘冠三汇报二区的情况，让刘冠三接替王映光担任青年部部长，与潘墨卿配合，做好长期潜伏，坚持斗争。原青年部部长王映光遵县委指示，化名王晓呋，已经打入厉文礼的地方部队。
　　很快，二地委同意了潘墨卿留守安丘的请求，批准他为（代理）县委书记。
　　回到二地委的崔杰千被任命为二地委委员、中共临朐县委书记。后又任沂水县委书记、鲁中二地委政府工作部副部长、鲁中联合办事处司法科科长，沂北行署代理主任，有长达4年的时间不再领导和过问安丘县委的工作。
县委步入艰难岁月 领导农民减粮斗争
　　潘墨卿领导安丘县委时期，是安丘县委最艰难困苦的岁月。
　　进入1940年，安丘各地党组织不断遭到破坏。先有井戈庄支部的书记孙希孔、组织委员孙子厚等4名党员遭到国民党昌乐县县长张天佐暗害；四区区委书记刘清风被暗害重伤，青年干部李兆桐宁死不屈，四区有7名党员牺牲。
　　1月，潘墨卿与韩十团的党支部书记张俊千得到地委指示：整个鲁中，安丘是缓冲区，县委继续地下工作。同时要以支部为单位，加强对党员的阶级教育、保密教育，审查党内危险分子，停止他们的组织生活。
　　张俊千的公开身份是韩十团九连司务长，不再参加安丘县委会议。韩十团的党支部归潘墨卿单线领导，共7名党员。
　　留守的安丘县委也重新作了分工：县委书记潘墨卿负责一区、二区，宣传部部长李锡三负责四区，组织部部长王善堂负责五区，秘书潘希贤负责六区。整个内线关系由潘墨卿兼管。
　　1940年春，因敌伪双重压榨，安丘人民食不果腹。整顿后的180多名党员，有很多因生活所迫，流离失所。潘墨卿针对这种情况，展开反对交公粮（给养）的斗争。一是通过在有党组织的村子掌握村政权，利用合法身份开展斗争。二是通过内线关系向顽伪乡、保长施加压力，指出谁强迫老百姓，谁就是汉奸。另外对特别困难的党员家属给予粮食救济。粮食的来源，一是在村里扣交的公粮，二是通过内线关系从顽伪政权内部弄来。
二区便衣队举事失败
县委再次与组织失联
　　盛夏时节，潘墨卿接地委紧急通知，带领张永勋、王映光、王宇一等7名青年去地委驻地三义店受训。不料赶到时，地委已经转移，只得去临朐九山镇鸡窝村找到了赵季武。赵季武转告，因要准备打仗，受训工作停止。愿意留下的参加部队工作，不愿留下的速回安丘。有3人愿留，潘墨卿带剩余4人再次突破敌人防线，穿过近100公里的敌占区，返回安丘五区。
　　这时，国民党51军来到安丘南部边境驻防，潘墨卿利用关系，与51军保持了良好关系。然后把主要精力放在安丘第二区（今坊子黄旗堡一带），做对敌隐蔽斗争。潘墨卿在二区化名李玉（字际龙），以行医为名与赵景亮、赵大宗、刘承智在这一带组织了30人的地下武装，名义上是“伪二旅四团第二便衣队”。名誉队长周三时是4团团部书记长的内弟；队长由韩十团团长韩寿臣的服孙韩德胜担任。与此同时，潍县县委也在潍、安边界一带成立了18人左右的便衣队，队长单连岱，归潘墨卿统一指挥。一时北到铁道、南到汶河为地下党控制，成为安丘县委干部的隐蔽地。
　　1940年8月，潘墨卿组织的第二便衣队队长准备不足，酒后举事失败，被驱逐遣散。面对不利情况，潘墨卿忙把第二便衣队的同志安排进51军特务二中队（该队1942年起义)。
　　潘墨卿也暴露了，便转移到沈宝然领导的五区。这时县委与上级组织已失联三个月。潘墨卿得知五区派出赴地委的通讯员尚未回来，想再派潘学海前去，苦于没有路费。潘墨卿回家背着母亲卖掉了八分好地，一半买成粮食给家中妻孥用度，一半作为县委的活动经费，拿出些让沈宝然安排。潘墨卿的父亲潘国文农闲时做木梳贴补家用，勤奋劳作，略有薄产，土地从三亩扩大到六亩。父亲去世后，家里卖了二亩地将其安葬，仅剩四亩维持生计。