陶鑄在廣州同鄉處隱藏了一段時間後，化裝乘火車離開廣州到韶關，然後徒步經樂昌、越九峰，於1928年1月底到祁陽家鄉。不久即找到與陶家有點親戚關係的共產黨員申慶禮的關係，找到了祁陽縣委，縣委派常委李用之與陶鑄談話，縣委決定恢複陶鑄的組織關係，並參加縣委做宣傳工作。縣委書記是鍾德貴（即劉東軒）。由於當時湘南特委的盲動主義，布置湘南總暴動，陶鑄覺得用單純軍事觀點去搞武裝的幹法不是辦法。加之民團的槍未能拖出來，特委又指責祁陽縣委沒有行動，縣委感到不好辦。此時陶鑄回祁陽被敵人知道了，要抓他的風聲越來越緊，行動甚為困難。陶鑄提出離開祁陽。經縣委同意，介紹他到湘南特委另行分配工作。
1928年6月22日，祁陽縣的黨組織遭到突然襲擊，縣委書記劉東軒等六名黨員被捕遇害。當日傍晚，國民黨反動武裝，沿祁山山脈包抄了石洞源，直奔陶鑄老家。敵人未能抓到陶鑄，在陶鑄家裏，翻箱倒櫃，威逼鄉親實行“聯保切結”。陶鑄祖母年66歲，在這場橫禍中驚嚇而死。陶鑄母親董唐姑擦幹眼淚，將祖遺五間住房，賣去三間半，埋葬了祖母，孤苦無依，就離開石洞源祖居之地，投奔女兒月梅家。
陶鑄離開祁陽後，因湖南各地白色恐怖，黨組織不斷遭到破壞，接不上黨的關係，他先後去衡陽、武漢、徐州找黨，最後在北平與黨組織接上關係，接受黨的任務，先後在駐唐山一帶的唐生智舊部做兵運工作，在北平地下黨的領導下做群眾宣傳工作。1929年農曆八九月間，奉調去上海。陶鑄到上海後，中央軍委歐陽欽通知他：中央又派他去紅四軍工作。
這年9月，陶鑄前往紅四軍途中，抵福建廈門。蔣介石發動“四一二”政變後，國民黨反動派正加緊向閩西南紅色根據地發動三省“會剿”，省委急需有作戰經驗的軍事指揮人材。陶鑄一到廈門，福建省軍委負責人王海萍與省委書記羅明通知他：經中央同意，留他在省軍委負責兵運工作，任軍委秘書。
陶鑄在福建接受黨的第一項工作，就是組織並親自指揮攻打廈門監獄，帶領12名同誌，救出關在獄中的40多名黨團員，我無一傷亡，震動全國。
當時在廈門思明監獄裏關押了40多名“政治犯”，其中有廈門市委書記劉端生，團省委書記陳柏生等黨的重要幹部。福建地下省委決定武裝劫獄，營救這些同誌。陶鑄按照省委的決定，多次化裝深入監獄，對監獄的地形地物、監獄內部情況作了詳細的調查。
1930年3月，中共福建省委經過多次精密研究，決定由省委書記羅明、軍委書記王海萍、組織部長謝漢秋、軍委秘書陶鑄、團省委書記王德組成五人破獄委員會，委員會負責規劃破獄的一切工作。陶鑄要求這次破獄，戰略戰術要求速戰速決。陶鑄還就劫獄路線、接應地點，作了周密布置。
擔任破獄第一線總指揮的陶鑄，沉著地將武裝隊組成內隊和外隊，陶鑄帶領外隊。外隊一共五人，當他們衝進大門時，正在吃早飯的警備隊長剛剛從邊門探出頭來吆喝“幹什麼？”話音未落，陶鑄眼明手快，立即打出一梭子彈擊倒警備隊長和一個隊員。此時，牢裏的40多位同誌，聽從武裝隊的指揮，一個緊跟一個，快步衝進了縣政府的大門。獄中的戰友全部衝出看守所。早就散布在縣政府門口的接應隊同誌。每人帶三五個出獄同誌，引路趕往船隻停靠的口岸，同安縣委書記許宗英站在堤岸上，指揮出獄同誌分兩邊上船。僅用10分鍾，出獄的40多位同誌全部上了船，立即揚帆開船，駛往同安。
1930年6月，以李立三為代表的左傾冒險主義錯誤統治了全黨，根據這一錯誤方針，剛剛發展起來的福建地區的革命武裝力量，在敵強我弱的形勢下，冒險向敵人強大的廣東東江地區出擊，以實現所謂“閩粵桂三省總暴動”。為此，革命力量再次受到嚴重挫折，福建地區的黨組織，受到嚴重的破壞。在這種情況下，1930年冬，陶鑄受命到漳州重建中共閩南特委，任閩南特委書記，陶鑄通過廈門一位姓林的黨員的哥哥林惠柏在漳州一個中學任教的關係，寄居在漳州南山寺。南山寺有個叫蕭達如的和尚，也是湖南人，同情革命，經過了解考察，陶鑄在這位名叫蕭達如的和尚幫助下，即把中共閩南特委機關安在這“終日念經誦佛，與世無爭，但求正果”的佛廟裏。陶鑄任閩南特委書記期間，經常化裝成南山寺的和尚外出活動。
1956年，陶鑄重訪漳州南山寺時，寫下五言詩一首，回首30年前在南山寺的這段傳奇式的革命經曆，表達對革命戰友的深情懷念：
南江古寺規模在，
含笑依然花滿枝。
鬢白重來千百感，
江山嫵媚故人稀。
1930年12月13日深夜，陶鑄親自主持組建的由南鄉、北鄉20多位農民組成的閩南紅軍遊擊隊第一支隊，在漳州南鄉一個村莊的祠堂裏宣布正式成立，王占春為支隊長，李金發任政委，陶鑄代表特委隨軍行動。在支隊成立會上，陶鑄根據他到漳州後調查到的情況，向遊擊隊隊員分析了全國和閩南的鬥爭形勢，總結了前一階段武裝鬥爭的經驗教訓，提出了今後的任務是“立即開展遊擊戰爭，實行土地革命，武裝保護閩南，準備成立漳州蘇維埃政府”。隨後，陶鑄指揮支隊武裝襲擊了龍虎庵鄉公所，繳獲了20多條民團的槍，鎮壓了最壞的敵探、狗腿、地主，狠刹了民團的凶焰，遊擊隊的士氣大振，閩南各地農民運動又活躍起來。陶鑄堅定執行黨中央武裝奪取政權的正確方針，打開了閩南地區的革命新局麵。