1940年，中共皖南特委决定成立中共泾旌太中心县委，胡明为书记，下辖泾县、旌德、太平三个县委。1941年1月，皖南事变爆发，中共泾旌太中心县委承担了收留、护送皖南事变中失散的新四军战士在皖南坚持武装斗争的任务。5月，中共泾旌太中心县委根据上级指示，在泾、旌交界的朱家坑组建了黄山游击队。

黄山游击队成立之初仅有8人，他们是1931年就任县委书记的尹德光，曾任团政委的李必春，游击队长刘奎，县委书记洪林，战士周永华（周明火）、纪继高、马金标、周义富。游击队成立当天，8人庄严宣誓：我们是新四军播下的革命种子，是共产党领导下的游击队，打倒日本侵略者，打倒反共投敌的卖国贼，战死不投降，打死不叛党，抗战到底，救国救民，为建设一个新中国、实现共产主义奋斗终生。

游击队活跃在泾县、旌德、太平地区，坚持敌后斗争，发动群众参军参战，并积极发展地下党员、恢复党的组织。队员们白天帮助老乡砍柴、挑炭，宣讲抗日救国的道理，揭露日伪顽的阴谋；夜间在密林中开会，研究敌情，学习射击和游击战术、如何对付各种各样的敌人。不久，游击队发展为24人。7月初，为了激励泾县、旌德、太平三县群众的斗志，打破国民党顽固派宣扬的“共产党在皖南彻底垮台”的谎言，黄山游击队决定奇袭庙首乡公所。

当时，国民党顽固派在旌德县庙首乡设立了“剿共”乡公所，驻有顽军地方部队一个排，这股顽军自称旌德“反共急先锋”，平日鱼肉乡里，皖南事变后，曾杀害多名共产党员，气焰极为嚣张。

为了初战必胜，黄山游击队多次派周永华、郎建新等前往侦察敌情。中心县委书记胡明主持制定了作战方案。1941年7月9日，游击队长刘奎率领游击队员20余人，从泾县沆坑长途奔袭30多公里，于当日深夜进入庙首乡。游击队埋伏在路边，先活捉了顽军的巡逻队，然后换上俘虏的衣服，兵分两路进入乡公所，出其不意活捉了岗哨。当游击队员进入乡公所内时，大多数顽军还在睡梦之中。游击队员大喝一声，顽军士兵在被窝里就乖乖成了俘虏。顽军排长开枪顽抗，很快被游击队员击毙。仅几分钟，游击队就结束了战斗，缴枪20余支。游击队把乡公所里的粮食布匹分给群众，释放了被顽军关押的干部群众，并对群众做了宣传，张贴了标语口号。

黄山游击队初战告捷后，“新四军又回来了”的消息传遍了皖南。此后，黄山游击队频频发动攻势，沉重打击了泾县、旌德、太平等地的日伪顽，鼓舞了皖南人民的抗日反顽斗志。游击队也不断发展壮大，很快发展到2000余人。