關於於右任愛護自己的長髯，有過這樣的趣聞：
於右任為了保護胡子，每晚臨睡前，必定把胡子梳理齊順，再用一隻布套裝好，掛在胸前，以免睡覺得翻身，把胡子壓壞了。某日與朋友聚會聊天，朋友問於右任：“您晚上睡覺時，胡子是放在被子裏還是被子外麵？”於右任從來不曾留意過這問題，猛然被這麼一問，一時為之語塞。翌日，於右任碰到那位朋友，抱怨昨天晚上沒睡好。原來，朋友的提問，讓他終夜輾轉反側，不知究竟該把胡子放被子外麵，還是放被子裏麵，翻來覆去好久都不能入睡。等他一覺醒來，也忘了睡著之前胡子最後是放被子外麵或是被子裏麵了。
解說員帶領我來到客廳之側的一間小屋，那裏如今鋪著地板，成了一間小書房。解說員說，原本這裏是一個私家溫泉浴池，當初日本人建此屋，就是因為這裏有溫泉。日本人撤離台灣之後，考慮到溫泉的硫磺氣會鏽蝕屋內金屬物品以及電器，遂封閉了溫泉，改鋪了地板。
於右任故居的下層為鋼筋混凝土結構的防空避難室，可以直通後院，不遠處就是大型防空壕。這是日本人建造時的原物。如今防空避難室已經改成於右任紀念館的辦公室。
“葬我於高山之上”
於右任出身於陝西的貧寒之家，後來當了國民黨的大官之後，仍然保持儉樸本色。他長期擔任“監察院長”，也正是因為他的清廉有口皆碑。
從1964年7月起，於右任腳腿浮腫，而且感冒喉頭發炎，語言困難。8月12日，蔣經國前來探視，當即決定送於右任入院治療。蔣介石、宋美齡夫婦兩度前往醫院探視，宋美齡還親選食品贈於右任。然而於右任病情日重，肝腎功能減退，並發肺炎。
1964年11月10日，於右任先生在台北病故，終年86歲。噩耗傳出，在海峽兩岸引起廣泛關注和悼念。在於右任彌留之際，他的長子於望德，會同於右任僚屬李嗣璁、劉延濤、王文光、陳肇英、李崇實、程滄波等，一起打開於右任的自用保險櫃，以求查找於右任遺囑。不料，保險櫃並無遺囑，隻有日記以及一張借據，那是於右任的第三個兒子出國留學時，因旅費不足，於右任向副官借了三萬元台幣（當時於右任擔任“監察院長”月薪五千元台幣）。此外，並無一點金銀財寶。在場人士目睹此狀，無不動容！
於右任平日有餘錢，總是接濟困難朋友。他曾經多次向陝西三原鄉親父老捐款。於右任在三原的秘書張文生曾經把貼滿五大本的捐款收據呈送於右任過目，於右任翻著厚厚的賬簿說：“這些賬簿都燒了吧，不要叫我的子孫看見之後將來前去討債，他們應該自食其力。”
他的長子細細閱讀父親的日記，發現父親晚年體力日衰，在1962年初就預料自己餘日不多，在日記中寫下類似遺囑的話。
1962年1月12日，於右任在日記中寫道：“我百年後，願葬於玉山或阿裏山樹木多的高處，可以時時望大陸。”在這段話的下方，於右任署名“右”字，而且還加注一句話：“山要最高者，樹要大者”。接下去，於右任又寫道：“遠遠是何鄉，是我之故鄉，我之故鄉是中國大陸，不得大陸不能回鄉。”
十天之後，於右任又在日記中寫道：“葬我在台北近處高山之上亦可，但是山要最高者。”兩天後，於右任在日記本上寫下一首歌，旁注：“天明作此歌”。這首歌，就是本文開頭寫及的《於右任遺歌》。
值得提到的是，《於右任遺歌》的最後一句是“山之上，國有殤”。可是當時台灣“中央社”在發表有關於右任遺言的電訊中，誤為“山之上，有國殤”，以致許多引用者均誤為“山之上，有國殤”。