公元七六年十月末，高力士被強行押往巫州。臨行前，他苦苦哀求，希望能與玄宗皇帝見上一面，李輔國派去的人斷然拒絕了這一點可憐的請求。巫州可謂唐王朝的“西伯利亞”。當時，那裡的大部分地區尚未得到開發，充滿了能置人於死命的漳氣，各種各樣的疾病無時無刻不在威脅著外地的被流放者的健康。

到了巫州，高力士的身體一直不怎麼好。他雖然一向號稱“百病不侵”，但畢竟已經是七十多歲的人了，何況此次遠行，遠離了他幾十年來很少離開過的玄宗皇帝，心情抑鬱，根本沒有什麼好情緒。當時的巫州，主要有兩種居民，一種是土生土長的本地人，另一種則是些被流放的“外來戶”。

在為數不少的“外來戶”中，只有一個人和高力士比較談得來。這個人姓柳，名芳，原來做過幾任小官，因為得罪了李輔國，故而也被貶謫於此。柳芳本人久聞高力士的大名，高力士獨居寂寞，兩人一見投緣，一天天地談論起開元、天寶年間宮廷中的一些逸聞趣事。這些趣事被柳芳一一地記錄下來，後來輯錄成一個冊子，書名叫《問高力士》，並沒有得到流傳，幸虧稍後於他們的宰相李德裕編撰了一本《次柳氏舊聞》，才多多少少地為我們保留了一些當年的歷史。

巫州當地的土著居民，還有地方官，可不像柳芳那樣尊敬高力士，人情冷暖，世態炎涼，原本就是如此。高力士卻頗有一番感慨。當時，丞州有一種菜名叫芥菜。這芥菜本是一年或二年生的草本植物，開黃色小花，果實細長。種子黃色，有辣味，磨成粉末，叫芥末，用做調味品。芥菜的變種很多，形態各異，按用途可分為葉用芥菜如雪裡收紅；莖用芥菜，如榨菜；根用芥菜，如大頭菜，巫州的芥菜是一種葉用芥菜。

這種芥菜本來是很好吃的，但可惜當地的土著居民們根本不識貨。由芥菜想到了自己，高力士不由得觸物傷情，情不自禁，揮筆寫下了一首流傳至今的五言詠芥菜詩：

兩京作芹賣，五溪無人採。

夷夏雖不同，氣味終不改！

這首詩言近而旨遠，把芥菜比作芹菜，借詠芥菜而自況，說明自己不會因所居之地不同而改變自己對皇上（當然是太上皇）的忠誠。即使是哪些地方官不能理解（無人採），也毫不動搖。高力土不是職業文人，流傳下來的作品也就是這一首而已。儘管他有過這樣那樣的缺點，但他對玄宗皇帝的忠心卻至死不渝。如今在看到這首詩，聯想到高力士的心境，還是很容易讓人觸動的。

肅宗上元三年（762）四月，李隆基、李亭父子相繼逝世。剛剛登基的肅宗長子李豫當上了皇帝之後，宣佈大赦天下。已經七十八歲高齡的高力士被“恩准”回長安，當他北返途中，經過湖南朗州市，碰上了一批剛從京城回來的客人，才知道他朝思暮想渴望一見的玄宗皇帝已經與世長辭，那位曾經尊稱他為“二兄”的肅宗皇帝也已晏駕，此時的他，頓時覺得這世上的一切真都如過眼雲煙，空即是色，色即是空，一切的一切都不過如此。

於是“北望號慟，嘔血而卒”。面對著遙遠的北方，號唃大哭，他是在哭自己的命運？還是在為再也不能見上一面的玄宗皇帝而哭？沒有人清楚。史書和當時人的記載中都只是簡單地告訴人們，高力士是嘔血而死的。這，也就夠了。

高力士亡故之後，唐代宗李像為了收買人心，也為了顯示自己的胸襟遠比乃父肅宗李亨寬廣，特意派人前往朗州致吊，並下詔書，特贈高力士為揚州大都督，恩准他陪葬在唐玄宗的陵墓——泰陵之側。高力士生前雖然沒能再見到李隆基，但死後卻能靠在玄宗皇帝的邊，這大概也是一種緣分吧！