1939年7月,八路军山东纵队第五支队军需处从胶东兵工一厂抽调10余名技术骨干,以西海军分区修械所为基础,在掖县连儿夼一带组建兵工厂。1940年初定名为胶东兵工二厂。当时条件非常简陋,只有2台小车床等。全厂职工以“为了前线胜利”为目标,自力更生、艰苦创业,一方面生产武器,一方面制造工具设备,很快做出简易的化铁炉、手摇钻、工模具,成功试制出地雷和手榴弹。为解决原材料匮乏问题,当地群众踊跃捐献出自家的铁锅、铜活页等;工厂职工尽量研制替代品;做枪炮用的钢材实在无法解决,工人们就在部队掩护下冒生命危险到胶济铁路拆鬼子运输线上的铁轨。一些化学药品、钻头、胶片等无法解决,兵工厂就设法到敌占区区通过秘密渠道购买,许多同志为此牺牲。
胶东兵工二厂刚进入批量生产,敌人“扫荡”开始了,大家把刚安装的设备马上拆掉,全厂进入紧急备战状态。在敌人的眼皮底下进行兵工生产,危险司空见惯。
胶东兵工二厂为对付顽军捣乱和迎击日伪军“扫荡”,成立战斗生产小组,背着枪带着工具和半成品,跟着部队一面战斗一面生产,随时修理枪支、制造弹药。后来,胶东兵工二厂遭到敌人破坏,在掖县、招远、栖霞山区间不断迁移,很快恢复生产,生产的地雷在反扫荡中排上用场。一天上午,一队鬼子在汉奸的引导下直奔兵工二厂弹药部驻地三条涧村,几个鬼子踢开装配组的门,地雷爆炸,当场把鬼子炸死2人、炸伤3人。
1941年2月,胶东兵工二厂奉命迁至栖霞西部喇叭沟村,认真总结经验,调整生产班组,抢修设备,改进生产工艺。产品产量由原来3天开1炉,质量也大大提高。生产的地雷在战场上威力大,收到部队欢迎。技工组提高刺刀质量,同时增加马鞍和炮架生产数量。子弹组改进拉伸膜,造出的弹头数量和质量都有所提高。
1942年初,胶东兵工二厂迁往牙山一带,与兵工四厂合并成为新的胶东兵工二厂。1944年3月,成功造出1门平射炮,在拔除日寇设在牟平县水道观据点战斗中发挥了极大作用,被誉为“牙山炮”,后陈列于北京军事博物馆。
1948年春,胶东兵工二厂西迁掖县。之后经历多次调整重组,发展成为生产迫击炮弹的专业工厂,成功研制出射程超过3000米的加长加重炮弹,在解放战争的各个战场上发挥了巨大作用。
1949年9月前后,胶东兵工二厂部分人员及设备迁往博山石炭坞,与其他兵工厂合并成立华东财办工矿部(后改称山东省人民政府工矿部)兵工局第一兵工厂。另一部分人员与兵工一厂部分人员携带设备迁往徐州九里山,与其他地区兵工厂合并成立华东财办工矿部(后改称山东省人们政府工矿部)兵工局第三兵工厂,主要生产60、82迫击炮弹。1950年10月山东省人民政府工矿部兵工局第三兵工厂数百名干部职工奉命迁至湖南省株洲山区,建立了一个专门修理迫击炮和生产迫击炮、炮弹的工厂。