根据工委的指示，就在这里开始组建抗日游击队。李林很快就投入了工作，发挥她出色的组织才能，物色干部，寻找营房，筹办伙食，编写政治军事教材。并和当地的抗日团体妇女救国会、工人救国会的同志一起，到农村和厂矿发动青年，参加抗日队伍，经过挑选，逐步组织起了一支十几人的游击队伍。在党组织的关怀下，上级给游击队派来了军事干部，李林被任命为政治主任，王零余为参谋长。李林与参谋长配合默契，工作取得很大进展，到12月队伍就扩大到200多人。

1938年2月，中共晋绥边特委(由原晋绥边工委改称)在第八支队掩护下，向平鲁、右玉西山一带挺进。行军的第一天晚上，在偏关以东20多公里处，与一股伪军遭遇，王零余和李林指挥八支队打垮了敌人，掩护特委机关安全到达平鲁县境。

八支队在平鲁西山经过一段整训，随即开赴右玉、左云以北，转战长城内外。一天下午，支队人员行至凉城县田城村附近，得知李守信伪军一部在麦胡图驻扎，每天下午少数伪军带马群到村边河中饮马，早想把八支队建成骑兵的王零余认为机会来了。他和李林商定，当机立断，巧夺伪军马匹。他们立即抽出30来个精干的战士组成突击队，换上便衣，潜伏河边草木丛中。待伪军的马群来到河边时，突击队员向敌人发起了突然袭击，打了敌人一个措手不及，夺得50多匹马，10几支枪。接着，将一中队改为骑兵中队，使八支队成为步骑兵混合支队。

鉴于雁北地区在斗争中发展了几个游击支队，八路军一二o师首长指示，把这些游击支队改编为一二o师独立第六支队。第八支队和右玉县组建的第五支队、平鲁县组建的第六支队，合编为第六支队骑兵营。此时，贺龙、关向应等领导同志很关心李林，认为一个女同志在部队上行军打仗不太方便，考虑调她到地方去工作。李林很感谢首长们的关怀，一再诚恳表示，愿意留在部队直接和日本侵略者作战。经过边区特委研究，嘉许了她的雄心，答应了她的要求，分配她担任骑兵营教导员，王零余任骑兵营营长。

李林和王零余率领这支队伍转战雁北各地，接连取得了许多胜利。同年7月，由于一二o师贺、关首长的关心和工作上的需要，李林被调到新建立的牺盟会晋绥边工委任宣传委员，并兼管地方武装。在工作中，李林发现地方上的民运工作很复杂，任务又很繁重，而干部又非常少，于是李林提议，经上级批准，决定马上举办干部训练班，就地解决干部问题，李林被任命为训练班的负责人。从1938年到1940年初，干部训练班共举办了六期，先后培训干部260多人，这些干部被分配到各县区，成为牺盟会的骨干和领导人，在抗日游击战争中发挥了出色的作用。他做群众工作，认下了不少“干妈”，团结了许多“干姐妹”，向她们宣传革命道理，帮助她们学习文化，深受群众爱戴。

1939年10月25日，面对日伪军2000余人向根据地的猛烈进攻，李林率领机枪排摸到敌人后方兵营门口，向敌人发动突然袭击，当场打死敌哨兵一名，缴获战马一匹。这样，迫使敌人把围攻抗日根据地的大批军队撤了回来，从而胜利地粉碎了敌人气势汹汹的“扫荡”。

在与日寇作战的同时，李林还对国民党顽固派的反动立场和行径进行斗争。1939年春天，她去陕西宜川参加阎锡山召开的“秋林会议”，在会上，她以亲身经历和我军在雁北的抗战事迹，有力地驳斥了顽固派诬蔑我军“游而不击”的谎言。这年年底到次年春，阎锡山发动了十二月事变，向我晋绥边党政军机关进攻。面对顽固派的挑衅，中共晋绥边地委根据晋西北区党委的指示，决定对雁北地区的顽固派进行坚决反击。由李林统一指挥十八团二营、政卫连和边委会指派前来支援的六支队骑兵营、步二营等武装力量，于26日晚上统一行动，铲除了在洪涛山根据地内的三个县一个区顽固政府，共缴获枪100多支和一部分弹药。对抓获的200来名顽固政府人员，经审查大部分教育释放，少数比较进步的给安排了工作，罪恶严重的顽固分子15人，于1940年1月中旬召开反顽斗争大会时予以镇压。摧垮了国民党在雁北的顽固势力。从而结束了在根据地内两种政权、两种军队并存的局面，雁北抗战工作在共产党领导下，蓬蓬勃勃地开展起来。

1940年11月，李林参加了晋西北军民代表大会，被选为晋西北行政公署委员，负责知道工、青、妇等群众团体的工作。由于她的出色表现，在召开委员会议前，贺龙师长与李林进行了亲切的谈话，赞扬她在敌后斗争中的英勇表现和领导才能。贺龙对她说：“一个女同志，来自大城市的大学生，能带领骑兵，在长城内外大战日本鬼子，打出了威风，很不简单！”在行署委员会开会时，贺龙还特别向全体委员介绍李林。他说：“这是我们的抗日女英雄，一个华侨大学生能在敌后领兵打仗，值得大家赞扬!‘洪涛山抗日游击根据地，直接威胁着敌战略要地大同和同蒲路北段，成为敌人的心腹之患。因此，从1937年12月起，日军先后八次进行大规模的“扫荡”，妄图把它摧毁。1940年4月25日，当夜幕刚刚降临时，一封紧急情报信送到吴辛寨村。正在开会的中共晋绥边