潘玉良原名陳秀清，後更名為潘玉良，張玉良。1895年出於生江蘇揚州一個窮苦家庭。少時多難，悲苦交加。一歲喪父，八歲喪母。年幼無助孤苦伶仃的她不得不投靠舅舅過著寄人籬下的生活。可是嗜賭成性的舅舅在她十四歲時又狠心將她賣到蕪湖的青樓。潘玉良不停地反抗掙扎，度過了兩年多和淚相眠的日子。直到十七歲這一年遇到了她人生中的大貴人大恩人大男人潘贊化，她的命運從此發生了改變。

時任蕪湖海關監督的潘贊化思想進步，而且是個方方面面都吃得開的有頭有臉的人物。在瞭解到潘玉良的悲苦身世後，同為幼年失去父母孤兒長大的潘贊化有一種“同是天涯淪落人，相逢何必曾相識”的感受，更為潘玉良不甘淪落風塵倔強不屈的性格深深打動並心生愛慕。

早在上海美專求學時，一名女同學知道她曾做過妓女，就找到校長，以“誓不與妓女同校”為名要求退學。這讓潘玉良感覺像是當眾被人打了耳光一樣，無地自容。後來，在潘玉良任教中央大學藝術系期間，一些同事也對她冷嘲熱諷，用“鳳凰死光光，野雞稱霸王”等語言對她進行詆譭。但是，潘玉良也不是好惹的，有一次一個和她有過結的男老師借酒裝瘋，當面罵了她一句“婊子”，被潘玉良當場打了一個耳光。1928年潘玉良回國以後，由於名氣大，她第二次被任命為上海美術專科學校西畫系的主任。第二年，南京中央藝術系的學長徐悲鴻聘請她為油畫系的教授。可是，由於潘玉良的出身，她又遭受了一些不公平的待遇。

誠實的王守義忠實執行了潘玉良的遺願，還主持了她的後事，並花重金在蒙巴納斯公墓買了一塊使用期一百年的墓地，安葬這位傳奇的女畫家。 他還在大理石墓碑上親筆書寫了“潘玉良藝術家之墓”幾個漢字。王守義死後，根據他的遺願，朋友將他就埋在潘玉良的身邊，兩人生不能同窗，至少死能同穴了。 潘玉良一生是貧窮不幸的，也是幸運的，至少她的作品在她去世後被世界所肯定，而且她身邊始終有一個愛他的男人存在。遺憾的是，潘玉良一生並沒有生育一個孩子，據說是她年輕時候懷孕後不幸小產，從此就沒有再懷孕，這是她晚年最大的遺憾。