《二十四孝》是唐宋在民间流传的文本,记录了二十四个远自虞舜近至魏晋的二十四个孝子故事，虽然版本众多但都记录了潘安的弃官奉母，后来宋人郭居敬重新校订《二十四孝》,因为潘安在政治上的趋附不已最终仇人当权导致被夷三族，潘安的母亲以七十余岁的高龄也未能幸免被杀，正因如此，虽然潘安已至孝但郭居敬认为他不足以列入，所以把他从《二十四孝》中删去，用宋代的孝子朱寿昌弃官寻母的故事代替了。
文学作品中常用“陆才如海，潘才如江”（如《滕王阁序》）来形容潘安与陆机，并称“陆海潘江”，都是魏晋第一流的文学家。潘安诗歌名列钟嵘《二十四诗品》上品，潘安亦是西晋著名文学、政治团体“金谷园二十四友”之首，作为西晋文学的代表，他的作品对后世影响很大，特别是《悼亡诗》更成为中国文学史悼亡题材的开先河之作，历代被推为第一，成为中国古代文学史上的名篇。《闲居赋》、《秋兴赋》也很知名，在以“貌若潘安”来形容一个人文采fēng_liú并且容貌出众。
《红楼梦》中有关于普通古代女子择婿的标准，谈到财富、才华和容貌三个方面，就以潘为参照物，比如《尤三姐思嫁柳二郎》一回中，尤三姐：说道：“但终身大事，一生至一死，非同儿戏。我如今改过守分，只要我拣一个素日可心如意的人，方跟他去。若凭你们拣择，虽是富比石崇，才过子建，貌比潘安的，我心里进不去，也白过了一世。”
而古典名著《水浒传》中王婆的话，讲到古代女子选如意郎君要以下五点，条件齐全，即“潘驴邓小闲”：
“潘”指男人要有貌，即需要拥有潘安那样的相貌，潘安是“古今第一美男”。
“驴”指男人要身体强壮，像牲口一样。
“邓”指男人要有钱，邓通（汉文帝男宠时为第一富豪），西汉人，有一天这厮对文帝说算命先生对他讲，他这辈子会穷死，文帝就让他“铸天下钱”，于是他成了比陶朱公还有富有的人。
“小”指男人性情要乖巧善解人意，就是说要像贾宝玉一样讨女人欢心，至少脾气要好，能受气。
“闲”就是女人有什么陪护要求男人要无条件的服从，随叫随到、无怨无悔。
而相貌是重中之重，头等大事，潘安的才华在魏晋这一百余年的历史中是和陆机齐名的文坛魁首，放在今学史百人之内，他的相貌更是有“古今第一美男”之称，无人比肩。
潘安还不滥情，他一心仕途，感情丰富的他对待妻子用情至深，妻子死后更是每每思念，留下许多著名的思念亡妻的作品。在古代社会潘安钟情妻子一个小妾也没有，这样的美男没有一丁点绯闻，妻子死后更是不在续弦，实在是极其难得的，更兼孝敬父母，出身于儒学大家“文n代”、家族世代为官“官n代”，所以“古今第一美男”的荣誉是他人无法睥睨的，潘安的优势几乎是压倒性的。
潘安被贬为洛阳郊区的河阳县令，他命全县种桃花，浇花息讼，他走后老百姓都怀念他，就吟道“恐是潘安县，堪留卫玠车”、“潘令在河阳，无人死芳色”、“颍阳春色似河阳，一望繁花一县香”、“河阳看花过，曾不问潘安。”
潘安对妻子杨氏的忠一和深情，让人感动，他和妻子12岁订婚,相爱终身。妻子杨蓉姬早逝，潘安十分伤悲，终生不再续弦，经常思念亡妻，为她写的悼亡词情谊真挚,缠绵无尽，成为千古佳话，有“潘杨之好”的评价。文人吟道“为结潘杨好，言过鄢郢城。”
潘安三十二岁仕途不顺、妻女病亡使他那密云般乌黑的秀发添了几缕银丝，后人就吟道“多于贾谊长沙苦，小校潘安白发生”、“潘郎何用悲秋色，只此伤春发已华。”
当时正值秋天，潘安借古人宋玉、贾谊悲秋的典故写下了《秋兴赋》，后因以“潘鬓”谓中年鬓发初白。
秋兴赋：
晋十有四年，余春秋三十有二，始见二毛，以太尉椽兼虎贲中郎将，寓直于歆骑之省。高阁连云，阳景罕曜，珥蝉冕而袭纨绮之士，此焉游处。仆野人也，偃息不过茅屋茂林之下，谈话不过农夫田父之客，摄官承乏，猥厕朝列，夙兴晏寝，匪遑底□，譬犹池鱼笼鸟儿有江湖山薮之思。于是染翰操纸，慨然而赋。于时秋也，故以秋兴命篇，其辞曰：
四运忽其代序兮，万物纷以回薄。览花实之莳育兮，察圣衰之所托。感冬索而春敷兮，嗟夏茂而秋落。虽末士之荣悴兮，伊人情之美恶。善乎宋生之言曰：“悲哉！秋之为气也。萧瑟兮草木摇落变衰，憀栗兮若在远行，登山临水送将归”。夫送归怀慕徒之恋兮，远行有羁旅之愤。临川感流以叹逝兮，登山怀远以悼近。彼四戚之疚心兮，遭一涂其难忍。嗟秋日之可哀兮，良无愁而不尽。野有归燕，□有翔隼，游氛朝兴，槁叶夕殒。于时乃屏轻箑，释纤絺，藉