相比下院嚴福寺，明代永慶寺的情景卻是盡顯蕭條。自唐初直至明代，翠微寺上院一直沒有大規模整修的記載，七百多年來，幾經興衰，曆經滄桑，最終還是沒落了。明孝宗弘治年間（1488—1505），秦簡王朱誠泳登臨永慶寺吊古，感慨之餘，也曾賦詩一首：
翠微深處翠微宮，避暑當年說太宗。
吊古不須增感慨，憑高聊複得從容。
千章古木蒼煙合，數尺殘碑碧蘚封。
獨喜滿嶺吟興好，參天萬朵玉芙蓉。
此詩名《吊翠微宮》，收錄於清人林一銘撰修的《寧陝廳誌》，開頭便是追憶唐太宗避暑的曆史情節，隨後描寫翠微山的景色，而對永慶寺的境況隻用了一句“數尺殘碑碧蘚封”加以概括，相比於盛唐時期“亭台樓閣數十重”的場景，盡顯荒涼落寞。
20世紀80年代中期，西北大學李建超教授等人曾在翠微寺上院遺址進行考古調查，發現了明代萬曆己酉年（1609）雕刻的《重修永慶寺住持墓碑》一塊，碑記的落款為：“俗姪：張至海、張至江”。由此得知，此住持墓碑為其俗世的家人所立，而不是寺院的僧眾所立。看來，明末翠微寺的上院雖然存在，而僧眾卻是所剩無幾了。
明神宗萬曆四十六年（1618），文人趙蛹在遊曆了西安城南的佛寺名勝之後，撰寫了《遊城南》一文，從文中內容來看，趙蛹曾來過嚴福寺，卻未登臨永慶寺：
（子午）鎮西十五裏，為董村寺……山上寺為翠微，餘不得至，呼寺僧問之，不知也。
當趙蛹來到董村寺（嚴福寺）之後，因慕山上翠微寺之名，想登臨此處，由於不知路途，所以詢問董村寺僧人，而寺僧的回答居然是“不知也”。看來，到了明朝末年，隨著永慶寺的衰落，兩寺的僧人也幾乎斷絕了往來。
四、清代衰落 民國消亡
順治元年（1644），清軍入關，建立了中國曆史上又一個少數民族統治的政權。清朝對於佛教的政策幾乎是完全繼承明代的遺緒，宗派方麵，仍以禪宗與淨土為盛，僧官製度與職別名稱都和明代無異，對藏傳佛教和漢傳佛教也施行同等的禮遇，而對於寺廟造像和僧尼數量卻加以限製。正是這一原因，造就了清代居士佛教的流行。道光以後，國勢衰落，佛教不振，佛徒多致力於經典的校刻與流通以傳播佛法。清末的太平天國運動與民國時期的廟產興學使得佛教遭到了嚴重的破壞，教內雖然有太虛、圓瑛等法師組織了革新運動，卻仍然沒有扭轉佛教衰落的趨勢。總體說來，清代直至民國，是中國佛教史上較為零落衰微的時期。同中國佛教的命運一樣，翠微寺也正是在這個時期步入了最低穀。
清代靈感寺慧禪法師在《閑嚼集·黃穀尋翠微寺遺跡》詩雲：
金沙河連金沙泉，幾戶人家幾炊煙。
青苔埋沒柱石基，牧兒時拾殘玉環。
忽見旌旗滿山穀，疑看金闕高九天。
一代君王今何在，依稀綠水伴青山。
從詩文內容來看，當禪隱法師走訪黃穀（太和峪）之時，永慶寺已然不複存在，取而代之的是依稀散落的“幾戶人家”和長滿青苔的“柱石基”。君王、高僧、宮闕、廟宇終究湮沒於無常的歲月裏，後人隻有從青山綠水和殘碑缺玉之中遙想當年的勝景了。