唐寅出狱回到苏州，家乡也没有安慰与温暖在等待着他，正如在生活中曾经千百次地发生过的那样，曾几何时那些捧场捧得最凶的人，现在骂他也骂得最厉害。更使唐寅感到难堪的，是家人的态度，唐寅曾经是一个全家都寄予厚望的人，也曾经是一个使全家都感到自豪的人，但是现在，却永无出头之日，从而使家人也永无出头之日。以唐寅的敏感和悲伤，碰上家人的势利与不恭，家庭生活难免不发生危机。最后，唐寅赶走了继室，又和兄弟异炊，成了一个孤家寡人，本来已经衰落的家境也因此而更形不堪，连生计都发生了困难。
然而，纵观唐伯虎的后半生，他的物质生活也偶有宽松之时，在苏州城西北建造了桃花庵别业，后半生基本上在桃坞别业中度过。好友祝允明、黄云、沈周等人经常来饮酒作诗，他购地建桃坞的经费，也主要来自于个人的卖画。由此可见，唐寅的诗画谋生之路至少给他提供了一个基本的生存环境。尤其是当他生意好的时候，求画者渐多致使忙不过来，便请老师周臣代笔。因此，后人在辨别唐寅画作的真伪时就说：“及六如以画名世，或懒于酬应，每请东村代为之。今伯虎流传之画，每多用笔，在具眼者辨之。”可见唐寅的名声，于是一些贪图私利的人，不惜作伪以牟取暴利。
以卖画为生使唐寅取得了经济上的自给，由此决定了他人格上的独立，对他后半生的诗画文艺创作亦产生了深刻的作用，甚至直接影响到其艺术观和创作风格。史载唐寅初拜师于沈周，在京城科场舞弊案发生之后学于周臣门下，其画风渐渐脱去沈周的特征，如他的《骑驴归思图》画法几乎与周臣一致。
武宗朱厚照的叔叔朱宸濠，谋划造反，到处招贤纳士，以厚禄请唐寅出山，唐寅开始并不知道个中端倪，但去了之后，逐渐发现宁王图谋不轨，便开始想办法离开。《明史》中记载，唐寅“察其有异志，佯狂使酒，露其丑秽。宸濠不能堪，放还。”他为了离开宁王，整天醉酒装狂，还曾脱了衣服裸奔，宁王实在受不了，便轰他走了，后来，宁王事情败露被诛杀，唐寅则继续桃花坞内的晚年生活。
为了生计的需要，唐寅还应人所求，画过一些春宫图、仕女图，多以官伎、歌女等为模特，人们便认为，风流才子之说，大抵是因为唐寅性本如此。他的人物画多感慨世情之作，表现出愤世嫉俗的心态。他兼取诸家之法，特别是吸收了院派和文人画的长处，独树一帜，开创了一条能表现自我精神的画路，行笔秀劲缜密，有着潇洒清逸的气韵。这一类作品多取材于历史与民间故事，尤其以描写欢场女子为多，唐寅的人物画可大致分为工笔和写意两类。前者典型的有《王蜀宫妓图》，画中精心描绘了四位盛妆等待君王召唤的宫妓形象，工笔重彩，体现了画家在造型用笔及设色等方面的高超技艺。后者以《秋风纨扇图》为例，唐寅把李公麟的行云流水措和颜辉的折芦描法掺和起来，挥洒自如，富有韵律感。
历史上的唐寅确实时常混迹风月场所，但这是当时的一种社会风尚，史上并无唐寅风流韵事的记载，事实上唐寅先后有过三个妻子。19岁时娶徐氏为妻，两人感情深厚，他25岁时父母妻妹相继去世，对他打击很大；后来又娶了一位，却在他涉嫌考场作弊案被抓后，离他而去；36岁时，唐寅娶了患难中的红颜知己沈九娘，从此筑桃花坞生活，一直到去世，一生不得志的唐寅并无那么多的风流韵事，而‘点秋香’的故事又是打哪来的呢？
唐伯虎点秋香故事的雏形，最早出现在明代笔记体小说中。明代小说家王同轨在他的《耳谈》中叙述了另一个苏州才子陈元超，与唐伯虎点秋香一模一样的故事。故事到了明末冯梦龙手上，就变成了《警世通言》中的《唐解元一笑姻缘》。而在戏曲中的唐寅故事，最早有明末孟称舜的杂剧《花前一笑》，后来又从“一笑”发展到“三笑”，出现了王百谷的《三笑缘》弹词、卓人月的《唐伯虎千金花舫缘》杂剧。到了清朝末年，民间流传弹词唱本《九美图》，开始有了唐寅娶9个美娇妻的说法，唐寅一生潦倒颠沛，诸事不顺，凭他的贫寒景况，连温饱都成问题，怎么可能妻妾成群。
明代确实有一个叫秋香的女子，但与唐寅没有任何感情瓜葛。秋香本名林奴儿，字金兰，号秋香，她琴、棋、诗、画样样精通，当时被誉为“吴中女才子”，颇有点名气。不过她并非是大户人家的婢女，而是当时南都金陵风月场中的名妓。秋香早年被迫堕入青楼，后从良嫁人。明代《画史》中记载：“秋香学画于史廷直、王元父二人，笔最清润。”据考证，秋香与唐寅生活在同一时代，但比唐寅足足大20岁，唐寅16岁出道时，很难与已是徐娘半老的秋香产生感情。唐伯虎点秋香只不过是后人把一些才子佳人的风流韵事，附会到他们身上罢了。唐寅真实的诗画人生跌宕起伏，少许风流得意，多些寂寞哀愁，恰如一幅“酒”与“色”浇注的水墨丹青，让后人回味良久。
唐寅走完了他那沉重而又艰涩的人生道路，终年五十四岁，离他常常计算的“人生七十”还差了16年，据说他临终时写下了这么一首“绝笔诗”：“生在阳间有散场，死归地府也何妨，阳间地府俱相识，只当漂流在异乡。”