唐時社會風氣開放，官員宴飲之時以歌妓陪伴的風氣興盛，據說白居易曾養有多名歌妓，最出名的是樊素。《舊唐書》還提到另一名歌妓“小蠻”，原文：“家妓樊素、小蠻者，能歌善舞。”此外孟棨《本事詩‧事感》：“白尚書姬人樊素善歌，妓人小蠻善舞，嘗為詩曰：‘櫻桃樊素口，楊柳小蠻腰。’”然而後人對於這則記事的可信度有疑問，蔡立甫《紅蕉詩話》認為樊素、小蠻指的是同一人。

白居易本身對歌妓並不忌諱，關於歌妓的描述常見於他的詩歌之中，如《與元九書》、《對酒吟》、《江南喜逢蕭九徹，因話長安舊遊，戲贈五十韻》等等詩作。在他的詩歌之中和友人酬答的詩歌之中，常常表現出和歌姬之間互相思念之情。

特別是有一件事，更能看出這老爺子對歌妓樊素用情之深。這件事就是白居易寫詩婉拒了當朝宰相裴度意欲“千金名馬換小妾”的暗示。事情是這樣的：

白居易向當時的宰相裴度要了一匹好馬，裴度大概聽說過樊素的芳名，於是寫信給白居易，並有詩說：“君若有心求逸足，我還留意在名姝。”白居易一看犯難了，這是以古人“千金名馬換小妾”的典故想要走樊素啊！這典故是說後魏曹彰（曹操與卞氏所生的次子）性倜儻，偶逢一匹駿馬愛不釋手，但馬的主人捨不得轉讓啊。曹彰就說：“予有美妾可換，惟君所選。”馬主因指一個最漂亮，曹彰也就同意換了。

但白居易愛馬更愛樊素，雖然裴度是當朝宰相，有權有勢，但白居易卻依舊難以割捨，寫詩婉拒了裴度，說：“安石風流無奈何，欲將赤驥換青娥。不辭便送東山去，臨老何人與唱歌？”

但白居易並沒有霸佔樊素，讓她陪他終老，以歌舞排解他老年的孤獨。而是在六十多歲得了風疾之時，決定賣掉那匹好馬並讓樊素離開他去嫁人。據傳，那匹馬反顧而鳴，不忍離去。樊素也傷感落淚：————駱之力，尚可以代主一步；素之歌，亦可送主一杯。一旦雙去，有去無回。故素將去，其辭也苦；駱將去，其鳴也哀。此人之情也，馬之情也，豈主君獨無情哉？

有時，無情之時才是真情啊！白居易長嘆一聲，揮手作歌讓她離去。歌名《不能忘情吟》：

駱駱爾勿嘶，素素爾勿啼；駱反廄，素返閨。

吾疾雖作，年雖頹，幸未及項籍之將死（意為比霸王別姬強），何必一日之內棄騅兮而別虞姬！

乃目素兮素兮！為我歌楊柳枝。我姑酌彼金 ，我與爾歸醉鄉去來。

樊素離去後，一次酒宴散後，正值暮春三月，春盡花殘，更添傷感。白居易想起了他最心愛的歌姬樊素，寫了《春盡日宴罷，感事獨吟（開成五年三月三十日作）》：

五年三月今朝盡，客散筵空獨掩扉。病共樂天相伴住，春隨樊子一時歸。閒聽鶯語移時立，思逐楊花觸處飛。金帶縋腰衫委地，年年衰瘦不勝衣。

“病共樂天相伴住，春隨樊子一時歸”，樊素和那爛漫春光彷彿一起走遠了，留下來的只有滿懷的病愁，不勝憂傷。