1922年6月18日上午，十八個中國青年陸續來到巴黎西北郊外的布洛宜森林，在這裏舉行一個秘密會議——旅歐中國少年共產黨成立大會。主持會議的是趙世炎，他有很好的口才。出席會議的有周恩來、王若飛、陳延年、陳喬年、劉伯堅、餘立亞、袁慶雲、傅鍾、王靈漢、李維漢、蕭樸生、蕭三、汪澤楷、任卓宣。他們每人拿了一把鐵折椅，在林中空地上圍坐成一個圓圈。會議開得十分熱烈，後來選舉趙世炎為書記，周恩來為宣傳委員，李維漢為組織委員。1922年晚些時候，中國共產黨旅歐總支部成立，團體的總部設在巴黎，趙世炎任中國共產黨法國組書記。任卓宣當時就是這個總支的執行委員之一，後來周恩來擔任了一段書記。1924年7月，周恩來奉調回國，不再擔任少共書記，這個時候接替周恩來領導職位的人就是任卓宣。1925年，任卓宣因從事革命活動，被法國當局逮捕，驅逐出境。後轉赴蘇聯，人莫斯科中山大學學習，並加入俄國共產黨，任中共旅莫支部負責人。
在莫斯科，任卓宣曾和張聞天、王明共事。
任卓宣擔任書記的時候另有一套主張：來中山大學的主要任務不是係統學習理論，而是改造思想，經過短期訓練回國參加實際工作。
按照這一指導思想，旅莫支部的工作注重於開展“戰鬥生活”，即嚴格的組織生活，並反對“學院派”研究，即不要係統學習馬列主義理論與俄語。為此，還製訂了一份包括許多條款的《訓練工作指導綱要》，要求大家遵循。當時，張聞天在旅莫支部內擔任黨小組長，起初，他是執行支部決定的。但實施旅莫支部訓練辦法的結果，造成了黨內生活的緊張和不正常。隻三四個月的時間，旅莫支部的這一套就引起了廣大黨團員與學校領導的不滿。大約在1926年5月間，黨員大會對旅莫支部工作進行辯論。張聞天在實際工作中認識到旅莫支部的這一套影響學習和同誌關係，因而成了“反旅莫支部的積極分子”。由於任卓宣不接受批評，還為自己的錯誤辯解，辯論會連續開了四天。在最後一次會議上，校長拉狄克作長篇講話，嚴厲批評旅莫支部的做法，宣布解散了中共旅莫支部。任卓宣的官僚家長作風和對學生的種種限製，引起大多數同學的不滿，能言善辯的王明與任卓宣辯論時，講得頭頭是道，得到大家的擁護。1926年9月中山大學學生會（當時稱學生公社）改選時，王明當選為學生公社主席。
任卓宣與陳獨秀也有過一段交往。
據任卓宣夫子自道：陳先生辦“新青年”時，我還在南充中學讀書。看見我的國文老師看《新青年》雜誌，我就到學校圖書館去借。我看了那個雜誌內的一些文章，至今還能記憶點的，是《我之愛國主義》中的勤儉等項目。因此，我可說是陳先生的讀者。但那時影響我思想最深的是梁啟超，不是陳先生。
後來我到法國勤工儉學，因為自己也勤工儉學，在工作中同情工人，參加一種講社會主義的團體，曾讀到陳先生辦的《新青年》和《向導》周報。我寫了一篇論巴黎公社的文章寄給《新青年》，他給我刊出了。及1925年五卅運動發生，我在巴黎響應，被捕下獄。因為是政治犯，尚可看書寫文。我在獄中先後寫了兩篇報道巴黎華人響應五卅運動的文章，寄《向導》周報，一篇被題為《巴黎來信》，一篇被題為《旅法華人反帝國主義運動》，都刊載出來了。1926年，我離開莫斯科孫逸仙大學，回到上海，曾去拜訪陳先生，這是第一次見麵，但是並不陌生。當時遇見張國燾及其他人，陳獨秀對我說，應該留我在中央工作。