謝靈運的詩雖然寫得很好，但他為人浮躁、性喜奢侈，常常穿著華麗的衣服、乘著高高的車子招搖過市。他雖曆任太尉參軍、太子左衛卒、永嘉太守等職，但仍自以為未參權要而憤憤不平，這與陶潛棄官歸裏恰好形成鮮明的對比。
東晉末年義熙年間，廬山東林寺法師慧遠與劉遺民等“十八賢”，在東林寺中結社，參禪賦詩，以文會友。因寺中有白蓮池，便命名為“白蓮社”。白蓮社邀請陶潛入社。陶潛性喜飲酒，他知道佛門中不許飲酒，便提出一個條件：“如能準許飲酒，現在我就可以入社。”為了能把陶潛招入社中，慧遠法師便破例答應了這個條件。當陶潛來到社中，見無酒可飲，知道是慧遠騙他入社，便皺著眉頭，十分不快地離去了。後來，謝靈運聽說此事，便主動申請入社。然而，慧遠法師認為他心雜不靜，沒有同意他入社。所以，有人據此寫出這樣的詩句：“陶令醉多招不得，謝公心亂去還來。”
謝靈運的詩雖清新自然，但社會意義不大，其成就遠不如陶潛，這與他們品格上的差異是有關係的。