带队参加八支队 转战多地立战功
　　1937年，民族危机日益深重，林瑞伍救国救民的想法日益强烈，与日军斗智斗勇。他在潍北与党组织取得联系，秘密组织抗日武装。
　　根据史料记载，1937年，经潍县早期共产党员耿锡章介绍，林瑞伍加入中国共产党，积极响应党组织号召，拉起了抗日武装队伍。据林群庆介绍，林瑞伍在1933年就加入共产党了，因后来失去联系，所以1937年再次入党。
　　日军进占昌邑、潍北后，林瑞伍率武装青年，以土枪土炮在张庄、平旺村伏击日军，首战告捷。1938年3月，林瑞伍率队在本村及西永安村与其他游击队会合，参加了八路军鲁东抗日游击队第七支队，历任分队长、副中队长、中队长。同年10月，他被调往八路军山东纵队21旅64团一营，历任副营长、营长。
　　1939年春，山东纵队启动第一期整军。4月，林瑞伍调任八路军山东纵队第五支队15团副团长，后任代理团长。他率部转战胶东地区的招远、栖霞、莱阳、黄县等地，屡立战功，获上级通令嘉奖。时任山纵五支队副司令员吴克华与林瑞伍一同转战各地，两人在战斗中结下深厚情谊。
与许世友比枪法 双枪出手全命中
　　林瑞伍代理15团团长期间，有一次胶东军区开会。会后，军区司令员许世友拉着林瑞伍的手笑着说：“听人说你一枪干掉两个伪军，乔连长（乔明志）也说你的枪法不错，俺想和你比试比试！”林瑞伍点头答应。
　　许世友让人拿来两只铁罐子，放在150米处，枪响罐子落地。林瑞伍说：“司令员，俺用不惯步枪，就喜欢盒子炮，能不能放近一点？”不等许世友吩咐，乔明志已经跑过去，把铁罐子放在约100米处，只见林瑞伍双手一抖，同时持枪在手，听得两声枪响，罐子落地。乔明志上前捡起罐子，大声对许世友说：“司令员，俺没有骗你吧？罐子上面有两个眼！”许世友爽朗地笑起来。