滕縣匪患日益嚴重，驚動上方。民國20年（公元1931年）春，國民政府山東省委主席韓復榘帶兵赴滕縣剿匪、清獄。韓復榘“誓必掃清巢穴”，親自任總指揮，以第三路軍為主力，協以友軍分路進剿魯南各匪。滕縣各大村寨接到縣政府命令：主席喜歡攜姨太太到各處巡查，務必做好接待工作，主席的外交夫人喜歡唱戲，望各處能投其所好。
韓復榘親臨前線督剿，採取“以匪制匪”的特殊辦法，重用熟悉土匪的“降匪”組成兩個“特別偵探隊”，以“降匪”劉耀庭、張步云為兩隊隊長，以偵探土匪行蹤。在探知匪寇老巢之後，韓復榘調集15路大軍死死圍住。4月16日，韓復榘下達總攻令。土匪則憑藉天險，在山上築石壘頑抗。韓復榘下令放火燒山，以去其屏障，電令剿匪各軍：“凡捕俘匪首領者，賞洋五千元。”繼而又電令各軍“獲匪一律槍斃，通匪一律槍斃”。至下旬，土匪被殲十之六七。針對土匪佔據抱犢崮有利地形、據險頑抗，韓復榘下令予以根誅：對匪區除婦孺外，凡15歲至50歲男子，如無“連環保”者一律槍決；並將抱犢崮山區藏匿土匪的村莊擇要焚燬。至5月4日，魯南抱犢崮土匪基本肅清，被捕土匪多被當場處決。各路大軍陸續迴歸原防，只留少數部隊繼續圍剿殘餘土匪。
民國21年（公元1932）年2月，韓復榘設立魯南特別區清鄉辦事處。滕縣縣長趙長江（字景文）和鄉紳黃以元（字馥棠）組織起了滕縣清鄉隊，主動進山剿匪。把桑村的民團改編成聯莊會，授予李二泉滕縣三區剿匪總司令之職。李二泉仍舊退居幕後，由侄子李毓福負責一切事務，接受縣政府的領導。李二泉掛了正式官職，李宅被稱為泰昌府倒是顯得名正言順了些。
一日，有大股土匪從山裡面竄出，途經桑村南部準備襲擾縣城，被清鄉隊堵在了陡城的南嶺之上。縣長趙長江命令桑村聯莊會前去支援，隊長李成義奉命帶隊參加戰鬥。李成義，桑村人，與李二泉同宗，時任桑村連莊會隊長。他帶著會員們跑步向陡城前進，剛到了陡城南嶺就跟悍匪接上火，由於土匪佔據了嶺上高地，易守難攻，戰鬥從早上打到傍晚時分，歷時8小時，終於將這股土匪消滅了。李成義在戰鬥中不幸中槍，光榮殉職。
據同行的桑村連莊會隊員講：打死李成義隊長的，正是毛瑟槍，應為當年油頭營長收繳桑村民團之槍，在其剿匪潰敗後被土匪所得。
李毓福聞言，默然無語，親為李成義撰寫碑文，紀其忠勇。
未幾，副隊長張世義在另一次戰鬥中犧牲，李毓福喪失左膀右臂，頓覺心灰意冷。好在東山里土匪已基本被肅清，李毓福便自籌資金，從濟南美國洋行訂購了一套麵粉加工機器，在滕縣西門外建造廠房，辦起了“泰昌洋麵坊”，專心地做起生意來。李毓福又利用津浦鐵路的交通優勢開設貨棧，把本地農副產品銷售到天津、濟南、徐州、鎮江、南京、上海等地。