謝靈運“抱疾”東歸會稽已一年有餘。會稽本為謝家祖籍，謝家又是名門旺族，當年先祖謝安、謝玄等人雄霸天下，遂有“王與謝、共天下”之稱。至謝靈運一代，雖有破敗頹勢，根基卻未動搖。在會稽，謝家產業首屈一指，田地數十頃，僅家僮私仆便有上千人之多。謝靈運職任朝廷秘書監不到兩年，按部就班為前朝立撰前後不足半年多，每日例會不參議，既不請假也不請辭。率人四處遊曆山水，後來幹脆稱病不歸。朝廷有司累次上表彈劾，基於文帝愛惜謝靈運才藝，留中不發。後得知秘書監撰寫晉書，曆時兩年竟隻粗立條目，未撰一字！文帝大為惱怒，恰謝靈運上疏報疾，文帝立馬準奏。
謝靈運樂得清靜，每天夜以繼日結夥成隊率人在會稽遊山玩水，以文會友，將整個會稽郡弄得烏煙瘴氣，繁鬧不堪，未及一月，會稽郡隻知有謝客不知有太守。畢竟謝靈運曾為朝廷任官，新任會稽太守孟顗苦不堪言，屢次上書直達朝內禦史中丞衙門，稱謝靈運大失朝廷大臣風範，應予解辭。迫不得已，文帝下詔剝去謝靈運一應職銜。謝靈運無所顧忌，依舊我行我素，反而覺得無官一身輕，愈發放縱，在會稽一帶恣意橫行。
會稽城內，有條長年不息的東陽河穿城而過，河道出城後蜿蜒西去，在城西沿途三十裏內積聚了多處湖泊，最大的一處方圓十餘裏，當地人稱東陽湖。時下已至中秋，天氣日漸涼爽，從江北掠過的風一天緊似一天，酷熱了大半年的江南終於迎來了最為愜意的季節。
八月十五眨眼而至，戌時牌分剛過，謝靈運便早約了幾個朋友早早出城，攜帶酒食直奔會稽城外飲酒賞月。城西三裏有處山崗，崗上有一涼亭，名為“醉月亭”。此亭是謝靈運一個月前出資修建，作為中秋賞月之用。貶官回鄉近半年多來，謝靈運和東海人何長瑜、潁川人荀雍、泰山人羊璿之和族弟謝惠連，稱為“四友”，至於張培至，他早已視為自己兄弟。暮色尚未四合，謝靈運等人率十數名僮仆已爬至崗上，在“賞月亭”內開始縱情豪飲。
飲至半酣，一輪圓月已緩緩浮至半天。
謝靈運放下酒杯依在亭邊，手掌重重在欄杆上狂擊數下，胸中驀地深吸一口氣，對著山下靜靜流淌的東陽河水縱聲長嘯，起初低沉淒厲，繼而高亢尖銳，在空曠寂廖的山澗內起伏跌宕。嘯聲漸息，身後驀地又一陣齊嘯，謝靈運回頭一看，見謝惠連、何長瑜等人已齊齊站起身，揚脖長嘯！
“哈哈哈！”
“喲嗬嗬！”
一位三十餘歲、頭紮四角襆巾的漢子將杯中酒一飲而盡，敞開胸衣，露出黑壓壓的胸毛，大笑道：“我荀雍從未有此痛快，人生大樂，尚有何求！謝客，借此良辰美景，何不給我等兄弟吟上一首，品吟與賞月齊樂，豈不逍遙快活！”此人正是“四友”之一潁川人荀雍。“四友”之中，荀雍最為年幼，其次為謝惠連，再次為何長瑜，羊璿之最為年長。當下，荀雍話音未落，眾人已是一致叫好。