1958年10月，當曹聚仁帶著海峽彼岸的信息又來到北京的時候，時機不巧，正值毛澤東下令炮擊金門的緊張時刻。毛澤東在1958年10月11日致函周恩來，這樣談及曹聚仁：
“曹聚仁到，冷他幾天，不要立即談。我是否見他，待酌。”
這一回，毛澤東“冷”落曹聚仁，其實是做給蔣介石看的。由於毛澤東炮轟金門，海峽兩岸的秘密和談也“冷”了下來。涵碧樓紀念館的說明詞中有這麼一段不尋常的話：
“民國五十四年（引者注：即1965年）7月20日，蔣介石、蔣經國父子在涵碧樓，聽取曹密訪北京報告，形成一個與中共關係和平統一中國的談判條款草案，當時稱為‘六項條件’。其中第一條即為蔣介石仍為中國國民黨總裁，可攜舊部回大陸，也可以定居在浙江省以外的任何一個省區；北京當時建議以江西廬山作為蔣介石的‘湯沐邑’，意即台灣最高長官在中國大陸的起居與辦公之地。”
所謂“湯沐邑”，原本是周朝的製度，諸侯朝見天子，天子在自己直屬領地上賜以供住宿以及齋戒沐浴的封邑。北京方麵建議給蔣介石以“湯沐邑”，不言而喻，隻有深諳中國文史的毛澤東才會用這樣的特殊語言。
1965年7月20日是不平常的一天，海峽此岸，蔣介石父子在涵碧樓與曹聚仁商定“與中共關係和平統一中國的談判條款草案”，而在海峽彼岸，周恩來親赴北京機場，迎接當年國民黨政府的“副總統”、“代總統”李宗仁歸來。李宗仁回歸中國大陸，給了蔣介石極大的衝擊。
蔣氏父子與曹聚成在涵碧樓談定的“六項條件”，全文如下：
（一）蔣介石攜舊部回到大陸，可以定居在浙江省以外的任何一個省區，仍任國民黨總裁。北京建議撥出江西廬山地區為蔣介石居住與辦公的湯沐邑。
（二）蔣經國任台灣省長。台灣除交出外交與軍事外，北京隻堅持農業方麵必須耕者有其田，其他政務，完全由台灣省政府全權處理，以二十年為期，期滿再行洽商。
（三）台灣不得接受美國任何軍事與經濟援助。財政上有困難，由北京按美國支援數額照撥補助。
（四）台灣海空軍並入北京控製。陸軍縮編為四個師，其中一個師駐廈門和金門地區，三個師駐台灣。
（五）廈門和金門合並為一個自由市，作為北京與台北之間的緩衝與聯絡地區。該市市長由駐軍師長兼任。此師長由台北征求北京同意後任命，其資格應為陸軍中將，政治上為北京所接受。
（六）台灣現任文武百官官階和待遇照舊不變。人民生活保證隻可提高，不準降低。
曹聚仁與蔣氏父子在涵碧樓商定這六項條件後，立即返回香港，將談判情況及六項條件報告給了中共中央。
應當說，倘若這“六項條件”能夠實現，則中國大陸與台灣在當時便可能實現統一。然而，由於緊接著中國大陸爆發了“文化大革命”，極“左”思潮在中國大陸泛濫，蔣介石對於回歸大陸也產生了懷疑，從此國共秘密談判再度中斷……我沉醉於美不勝收的涵碧樓，更沉醉於涵碧樓紀念館裏這些曆史瑰寶。
我在紀念館裏正在細細參觀、記錄、拍照，忽然聽見大門關閉之聲。
我連忙來到大門口，方知紀念館的管理員以為我早已離去，正準備重新鎖上大門——因為如今紀念館門可羅雀，所以“門雖設而常關”！幸虧我及時趕到大門口，不然就被反鎖在紀念館裏。管理員連聲說“抱歉”……蔣介石喜歡乘坐手劃船在日月潭賞景。專為蔣介石劃船的船夫至今仍在日月潭，名叫賴瑞慶，今年76歲，為蔣介石劃船前後達25年。
據賴瑞慶回憶，蔣介石當年在日月潭尋找船夫時，當地船夫都不會講國語（即普通話），何況蔣介石的浙江口音又很重，無法跟蔣介石溝通。
賴瑞慶雖然也不會講國語，但是會講日語，而蔣介石年輕時留學日本，也會講日語，於是彼此能夠溝通，請賴瑞慶劃船。當時一般船工一天工資大約十元台幣，賴瑞慶為蔣介石操槳日薪四十，不但優厚，而且不管出不出船，隻要蔣介石沒離開日月潭，按日計薪，真讓其他船工垂羨萬分。