田中內閣見強硬手段不靈，同時也覺得與東北地方當局的低級別談判根本不起作用，於是決定將“滿蒙問題”的官方交涉從奉天移到北京，由駐華公使芳澤直接與張作霖、楊宇霆進行。
8月23日，芳澤在北京拜會剛當上“陸海軍大元帥”的張作霖，將田中的親筆信函和所贈禮物轉交張作霖，同時送上日本方麵有關解決“滿蒙懸案”的備忘錄。張作霖借口自己不知詳情，讓芳澤與楊宇霆交涉。8月27日，楊宇霆會見芳澤時，按照張作霖的指示，提出有關“滿蒙”的問題應交由地方當局交涉，實際上是進行拖延。楊宇霆還批評吉田盛氣淩人，使奉方難以忍受，希望芳澤轉告吉田把脾氣放好些。芳澤說地方當局解決不了問題，堅持要在北京交涉。
就在芳澤與張作霖、楊宇霆的直接交涉開始後不久，奉天的反日運動再起高潮。9月3日，奉天市民在總商會內召開反日大會；9月4日，民眾又進行大規模的示威遊行。日本外務省的情報記述了這次反日鬥爭的具體情況，寫道：
各家各戶門口掛起了排日宣傳旗，約兩萬群眾各自手持排日口號的三角形小旗，以消防汽車開路，女子師範學生、商工團體、男學生團體跟在其後，開始了示威遊行。途中高唱排日宣傳歌曲，憤怒高呼“打倒田中內閣”“打倒帝國主義”“取消二十一條”等口號，散發排日宣傳傳單。他們在城內各個街道遊行後散去。5日、6日，發生了過路的日本人遭到謾罵侮辱事件達數十起，日本商人的大門也遭到敲打和破壞……中國人對日本人的態度越來越凶惡。
麵對中國民眾的強烈反日情緒，田中內閣十分懷疑奉張在幕後唆使，從而以民意為借口拒絕日本條件。日本的懷疑缺乏足夠的根據，但奉天當局並未阻止大規模的反日浪潮，這倒是事實。
9月6日，田中首相兼外相對北京芳澤公使發出了要求張作霖表明態度，製止反日運動的嚴厲訓令：
關於此次滿蒙交涉，如所知悉，中國方麵采取種種毒辣的對抗辦法。最近奉天的排日示威運動，終於提出了打倒田中的口號，理應說純粹是對帝國政府的輕侮行為。因此，希台端立即會見張作霖，本大臣以特別命令提出如下要求，並將會見結果電複本大臣：
在中國各地曆來出現排外示威運動，但未曾指出友邦內閣之名，亦未標榜打倒此內閣者。南方激進分子亦未敢作如此有意侮辱外國政府之異舉。
然而，這種運動發生於曆來口稱對日親善、對日本內閣最表敬意之張作霖之根據地――奉天，而且公然於白天在本國官民麵前進行。根據掌握的情報，上述運動之中心――商務總委員會預先取得張作霖本人的同意，由此得到鼓舞，進行大規模示威運動。
希向張作霖追究，查明其真意，張作霖對此運動究竟是否表示同意？對提出侮辱日本現內閣之口號，進行示威活動，是否默認？對此情報內容，張作霖是否知悉？如張作霖未予同意，即應取締，參與運動者自不待言，其唆使者亦當取締。
希同時告知，此次排日運動以及最後在滿洲其他地方對日關係之惡化，有東三省當局之幕後慫恿，此種情報屢有傳入本國。曆來對張作霖表示同情的日本朝野，也對張的態度不滿。在對張的關係方麵，議論頓有變得強硬之征兆。朝此方向發展下去，結果日本將來與北京和滿洲地方當局的關係，令人甚為憂慮。
第二天，即9月7日，芳澤便遵命會見張作霖，向他提出嚴重抗議。9月9日，芳澤又宣布暫時中止交涉。在這種情況下，張作霖也擔心與日本發生公開衝突，不得不下令取締反日運動，並撤消莫德惠的奉天省長職務。以劉尚清取而代之，希望緩和與日方的緊張關係。
關東軍“卸磨殺驢”
通過芳澤公使的政府間交涉雖然暫時停止了，以首相特使山本條太郎為主角的秘密外交，卻在悄悄地加緊進行。
8月27日，山本赴大連就任滿鐵社長。他先派與張作霖關係密切的江藤豐二，到北京進行試探和疏通。曾擔任過“中日實業公司董事長”的江藤，帶著東方會議通過的“滿蒙鐵路計劃”會見張作霖。張作霖見到這一計劃後十分吃驚地說：“這不是日本準備跟俄國開戰的鐵路嗎？”他清楚地知道，修了這些鐵路，猶如“懷裏抱著炸彈”一樣的危險，故表示不能接受。江藤立即威脅說：“如果你不合作，日本軍隊將要幫助你的敵人蔣介石！”張作霖躊躇再三，終於圈了四條鐵路。江藤仍不滿足，催促張作霖說：請再圈一條吧。這不過是五十步與百步的區別。於是，張作霖又圈了一條。張作霖拿筆的時候，似乎渾身都在哆嗦。圈完，他一再叮囑江藤：“這隻是預備性商談，你們暫且不要發表。”
江藤的試探成功之後，便回大連向山本報告。山本又派自己的妻子到北京探虛實，在聽說張作霖對山本夫人的款待非常熱情、隆重時，他認為時機已經成熟，便決定親自出馬。
10月8日上午，山本抵達北京。當天午後，山本便帶著江藤和張作霖的顧問町野，到大元帥府拜訪張作霖。山本的風格與吉田、芳澤不同，他故意把大事加以輕描淡寫，利用張作霖豁達的性格，在嘻嘻哈哈中謀求成功。
不過，真談到要害問題時，張作霖並不那麼容易上鉤。當他們於10月12日再次會見，山本提到鐵路問題時，張作霖仍借故推脫，非要把楊宇霆請來一起談。楊宇霆則堅持要對山本提出的協約草案進行修改。此事一直拖到10月15日，張作霖實在挨不過去了，不得不在協約上簽了個“閱”字，但仍不願簽自己的名字。日方則不管這些，即以此證明張作霖已同意協約。
這一協約規定：中國政府委托“滿鐵”承辦建造五條鐵路，即敦化經老頭溝至圖們江江岸線、長春至大賚線、吉林至五常線、洮南至索倫線、延吉至海林線。協約還規定：上述五條鐵路竣工移交後，承包款項即應付與滿鐵，如不支付，即轉為“借款”。作為交換條件，山本同意東三省當局修築吉林至海龍鐵路，但不準將打虎山至通遼鐵路擴展到通遼以北，也不準修築開通至扶餘的鐵路。協約的最後一條寫道：“本協約簽字後須兩國政府的代表正式簽字。”這說明，此協約目前仍係草案。