蔣緯國派人到大陸勘探合適的墳地，而患晚期喉癌的蔣經國三子蔣孝勇因自知來日無多，為在生前了卻兩位長輩心願以盡孝道，也力主移靈大陸，並前往浙江奉化溪口考察，了解祖父、父親未來墓址的情況，還告知妻子蔣方智怡有關安排，囑咐她今後去完成。
後來，經過蔣家親屬商議，最後的意見是以兩蔣都歸葬故鄉浙江奉化為宜。
然而，“兩蔣移靈小組”卻反對蔣緯國、蔣孝勇關於移靈大陸的主張，認為兩蔣“移靈”大陸，“恐被中共統戰”。他們提出分兩步走：先在島內舉行“國葬”，可以彰顯兩蔣“愛台灣的感情”，等兩岸統一之後再“奉安”浙江。
蔣彥士為了取信黨內大佬，在最後關頭還通過特殊渠道取得宋美齡同意兩步走的“手諭”，封殺了蔣緯國、蔣孝勇的直接移靈大陸的主張。
蔣孝勇對此強烈不滿，怒斥蔣彥士“不要臉”，抨擊“國民黨已不是國民黨，兩蔣移靈大陸總比被自己人鞭屍好一點”。
作為“兩蔣移靈小組”的召集人，蔣彥士不理會蔣孝勇的反對，明確表示，移靈屬於國家大事，不一定能以家屬的意見為重。
“兩蔣移靈小組”內部意見分歧，國民黨內部對兩蔣歸葬大陸意見不一。
兩蔣能否移靈大陸，還涉及另外一個問題：大陸的態度如何？
應當說，兩蔣歸葬大陸，大陸不會有異議。但是，台灣方麵卻提出，兩蔣都是“中華民國總統”，台灣當局依據“國葬法”在移靈大陸時要舉行“國葬”儀式，這顯然是大陸無法同意的。
大陸有關部門表示，隻能接受兩蔣以“中國國民黨領導人”而非“中華民國總統”身份歸葬大陸。
兩蔣歸葬大陸一事，在反反複複的商議、討論之際，1996年12月22日，蔣孝勇去世；1997年9月23日，蔣緯國病逝。這樣，兩蔣歸葬大陸一事，也就被擱置起來。
這一擱，就是七年。
到了2004年1月，兩蔣移靈一事，又被重新提起。
事情的起因是2003年10月24日106歲的宋美齡在美國紐約病逝。遵照宋美齡的遺願，遺體不運回台灣，而是安葬在紐約上州芬克裏芙墓園已備好了的宋美齡室內墓地。
宋美齡在臨終前囑咐，兩蔣在台灣先舉行“國葬”，入土為安，等兩岸統一再“奉安”大陸。若將來蔣介石能夠歸葬南京紫金山，那麼她就歸葬上海母親倪桂珍女士墓邊，因為紫金山是“總理”和“總裁”的奉安之地，不是她可以安葬的。若蔣介石不能歸葬南京而能歸葬奉化溪口老家，則她願意和蔣的遺骨一起歸葬奉化。
在出席了宋美齡的葬禮之後，蔣氏家族決定按照宋美齡的遺願辦理。
因為兩蔣遷葬大陸，涉及諸多敏感問題，一年半載解決不了，因此唯一現實的途徑，那就是宋美齡所主張的分兩步走：先在台灣安葬，將來再遷葬大陸。
於是，2004年1月，蔣經國遺孀蔣方良、蔣緯國遺孀丘如雪以及蔣經國的長媳蔣徐乃錦，寫信給台灣“國防部長”湯曜明，希望把兩蔣移靈到台灣台北縣汐止的五指山“台軍示範公墓”安葬。這個公墓是在1980年開始規劃籌建的，於1982年3月29日落成啟用。這一公墓裏葬有前“總統”嚴家淦、台軍十二位“一級上將”，蔣介石次子蔣緯國也葬在那裏。
湯曜明收到此信，意識到事關重大，當即向“總統”陳水扁報告，而且與蔣家家族的代表秘密會談，出席的蔣家家族代表共三位，即蔣緯國的兒子蔣孝剛，蔣孝文遺孀蔣徐乃錦，蔣孝勇遺孀蔣方智怡。蔣家家族的代表確認移靈五指山就是蔣家家族的最後決定。
另外，湯曜明還得知，蔣方良、蔣徐乃錦還將她們給湯曜明的信，抄寄當時的國民黨主席連戰、“行政院長”郝柏村以及蔣介石的文膽、曾經為蔣介石預立遺囑的秦孝儀，還有蔣孝嚴。
很多人以為，民進黨可能會反對兩蔣移靈五指山，沒想到，陳水扁非常痛快地答應了。內中的原因是：兩蔣一生堅決反對“台獨”，如今安葬台灣，可以為“外來政權也不得不認同台灣”造勢，象征“台獨”的精神勝利。另外，兩蔣都曾是國民黨主席，在民進黨執政的時候，如此“大度”地安葬兩蔣，可以從藍營中拉“感情票”。
陳水扁批示：“完全尊重家屬的意見，應該要比照‘國葬’辦理，以示尊崇。”