1927年年初，
吴芝圃任中共杞县地委书记。3月，中共中央在武汉召集
河南省五大地区（豫东、豫南、豫北、豫西、豫中）农民代表会议，张海峰参加会议，并被指定为豫东地区召集人。会议由中央农委书记
毛泽东主持。3月15日至21日，在武昌中央农讲所召开河南省武装农民代表大会，杞县、尉氏等45县代表出席会议。大会通过了《河南省武装农民代表大会宣言》《发展河南农民协会组织案》《河南省农民自卫军组织大纲》《河南全省农民自卫军临时执行委员会大纲》和反奉电等，
肖人鹄被选为临时执行委员会委员长，杞县代表孔寅初被选为委员、豫东农民武装总指挥。 毛泽东对如何组织农民武装起义等工作作了明确指示。
吴芝圃、孔寅初、王亦言等回到杞县后，立即召开杞县、睢县、通许等县农民自卫团代表会议，秘密宣布成立豫东农民自卫军总指挥部（即联合办事处），吴芝圃任主任。会后，大家分头组织发动，印制宣传品，筹措武器、弹药、经费等，制作各种标志，开展军事技术训练。
1927年5月23日，肖人鹄、吴芝圃等抓住有利时机，豫东农民自卫军1万多名武装农民在
杞县南何寨举行武装暴动。部队集合后，全体指战员臂戴袖章，高举大旗，手持长矛、大刀及一部分钢枪，牛车拉着土炮，直扑杞县。农民武装将县城东、南、北3面团团包围，唯留西门一面。通许县红枪会娄济然、娄伯循等分别率领千余人，星夜赶到，参加攻城战斗。防守杞县县城的公安武装晚上点灯到城墙上守卫，只是做做样子。当攻城农民军土炮轰鸣，杀声四起时，他们便溃不成军。拂晓，围攻县城东门的农民军，踏梯登城，打开东门。北门、南门相继攻克。县府知事乘机逃跑，守城敌人全部缴枪投降，5月24日拂晓占领杞县县城。通许县农民自卫军和红枪会武装乘机占领
通许县县城。5月23日组织农民自卫军攻打永城县城，举行武装起义，占领了
永城县县城，5月26日睢县农民武装占领了
睢县县城。陈留县红枪会首领杨宏儒组织二三百人的“别动队”，5月28日占领
陈留县县城。
1927年6月初，武汉国民革命军与冯玉祥率领的第二集团军打败了占据河南的张作霖军队，会师郑州。6月10日至11日，汪精卫、冯玉祥召开了郑州会议，决定停止北伐，任命冯玉祥任国民党河南省政府主席，驻防河南。此时汪精卫已准备“清共”、反共，密令严查共产党机关。6月20日至21日，冯玉祥又在徐州秘密会见蒋介石，两人商谈蒋汪合流和“清共”事宜。会后，冯玉祥就在河南实行“清党”政策，逮捕共产党人，使
河南陷入白色恐怖之中。
永城国民党八区区长聂九如，纠集反动武装进攻永城县城，向新兴的永城治安委员会反扑，逼迫治安委员会交权。在睢县，冯玉祥部寇英杰第九师何柯喜部进驻县城，逼退农民自卫军。冯玉祥还诬篾“豫东别动队是土匪”，农民协会是包庇“土匪”的组织，明令通缉“杞睢暴动匪首吴殿祥、马集勋”，下令解散农民协会和农民武装。