罢免后，夫妻决定远离尘世，寻一个偏僻的地方住下，继续金石考究。当他们乘船经过芜湖，来到安徽池阳的时候，赵明诚又接到朝廷诏书，被任命为湖州知守。
按宋代的官制规定，新官员上任之前，先要到皇帝那里去觐见，赵明诚赶赴建康江宁去见宋高宗赵构。李清照暂时在池阳住下。到了7月底，她忽然接到了丈夫的来信，说自己由于一路纵马疾驰，加上江南地区天气炎热，中暑得了疟疾，病倒在建康城。李清照连忙乘舟启程，坐船走水路，从池州往江宁一晚上就走了三百里，赶到建康城。由于赵明诚性子急，误吃了柴胡、黄芩等降温散热的寒性之药，病情不但没有减轻，反而转成了痢疾，腹泄不止，到了8月18日这一天，赵明诚一病不起，对家中的琐事没有做什么交代，就此撒手而去。
这一年两人结婚第二十八年，赵明诚49岁，李清照46岁。
赵明诚虽然去世了，但是他留下了一笔数量很大的文物，两万多件古籍图书，和二千多卷的碑刻金石的拓本摹本。如何保护，不让它落到金国人的手里，更不能毁于战火，是一个令人头痛的难题。李清照托人将文物转送到洪州，交给一个担任国防部副部长的亲戚保护。不久金兵大举压境，攻下了湖北的黄州、大冶，然后进兵直逼洪州，12月，洪州失陷，宋兵逃散，运去的两万多卷珍贵图书在浩劫中顷刻化为乌有。
经过劫难，李清照手里剩下的文物就不多了。
这时一个可怕的谣言忽然冒出来，沸沸扬扬，不胫而走，几乎把她吓个半死，不敢辩白“大惶怖，不敢言，亦不敢遂已。”传言说赵明诚生前，曾将一把珍贵的玉壶献给了金国人！谣言很恶毒。罪名很大。赵明诚生前可能犯过这样那样的错误，弃城而逃，玩忽职守，**受贿，骚扰女青年，这都不是要命的毛病。谁一生还不犯点错误呢？犯了就改，改完再犯。你把玉壶上缴给金国、呈献金人，性质可就变了，这是什么呢，这是通敌叛国罪。特别是当时金、宋两国正处于严酷的战争状态。两口子收集了二十多年文物，到了一盆子脏水泼到头上，变成了汉奸、卖国贼，人不人鬼不鬼。谁受得了？
怎么办？李清照思忖一番，凭着文人的善良和老实，想出了一个傻办法你不是说我献了玉壶给金国人，说我们叛国、卖国吗？好，一不做二不休，我跟着皇帝走，把我们全部的家当都呈上去，交给朝廷，看看你还说什么？她自己雇船、求人、投亲靠友，带着沉重的家用物件书籍文物，眼巴巴地追寻着国君逃亡的路线，开始了艰难而危险的跋涉之旅。从建康出发，经镇江、越州绍兴、明州宁波，从明州上舟山岛，乘船到台州，漂泊入海，走海路又逃到了温州。一会儿走海路，一会儿走陆路，仓皇漂泊，心力交瘁。
“今年海角天涯，萧萧两鬓生华”，一年多的逃亡生活，使李清照饱尝了战乱流离之苦，呈交给朝廷的名家抄本古器字画在剡州兵变中去向不明，温州客栈，她的五箱文物又被贼破壁偷走。李清照一个人肩负着沉甸甸的担子，流落他乡，孤苦伶仃。“挼尽梅花无好意，赢得满衣清泪”，她摘下了一朵梅花，却没有勇气把它插到云鬓里边，只有用手无意识的轻轻地搓动着花瓣，看它在风中慢慢地飘落，飘落到衣襟上，就象孤单人的眼泪一样。令人心碎的梅花！
孤寂中一个叫张汝舟的男人踏入了李清照的生活。
张汝舟担任右奉郎监诸军审计司，官品并不大，七八品，负责军队里边的一些财务审计和审核，他带着一副眼镜，斯文白净，镜片后的目光闪烁不定。这个人很会说，非常具有表演才华，他主动地接近李清照，朗诵诗歌，暗送秋波，同她一起谈文学、谈写作，谈文物考订，派媒人拿着文书向她求婚，嘘寒问暖关心呵护，这一切深深打动了身心疲惫、感情受伤、特别需要慰籍的李清照。
幸福像花一样悬挂在眼前，颤悠悠，似乎只要一伸手，就能采到
待到结婚以后，李清照就发现张汝舟这个人，不但是学识修养方面无法跟赵明诚相比，而且道德品行败坏，或者说整个就是一彻头彻尾的流氓。两人很快便发生了分歧，争执不休，张汝舟因为不能支配她的行为，不能占有李清照仅存的文物的监护权、所有权，不免恼羞成怒哼，我还上当了呢。你不搞古董文物的吗，你那两万多卷呢？那贵重的金石字画呢？我他妈弄个老太太来，还写诗！最后更是完全撕破脸，拳脚相加，大打出手。
结婚仅仅三个月，李清照便向法庭提出了离婚的请求。
“忍以桑榆之晚节，配兹驵侩之下才”。
“驵”是贩卖牲口的牵客和经纪人，“侩”是市侩。
李清照说，我真后悔，自己到了晚年，竟然嫁给了这么一个肮脏低劣的市侩。“身既怀臭之可嫌，惟求脱去，彼素抱壁之将往，决欲杀之。”我再也不愿意跟这个臭烘烘的家伙在一块了，就想快点离开他，我再不走，他整天老盯着我这些宝贝文物，说不定哪天就一拳打死我。赵明城再不济，起码他不搞家庭暴力？
但是当时的法律并不支持个人离婚，况且，如果走正常的程序离异，家产包括赵明城遗留下的部分文物将作为共同财产由夫妻双方支配。这显然不是李清照所希望得到的。于是她转念一想、想到了另一个办法向官府投诉，状告张汝舟。罪名是“妄举增官之数”。就是他为了升迁刻意隐瞒，谎报了自己的政治履历。比方说一个人在基层干了几年，又作了3年科员，7年正科，20年党龄，现在提拔上来，是副局级。而在张汝舟则是3年他说8年，明明是6，填报表时大笔一挥，给刷了个9？
这场官司惊动了高宗皇帝。赵构特意派出了一个调查小组，南下北上，内查外调，翻阅了大量的档案，采访当事人，最终裁定原告所控诉的一切证据确凿，理由充分，罪名成立。张汝舟被撤销一切职务，开除党籍，发配广西柳州。李清照虽然达成心愿，离婚并保住了文物，可依照宋朝的律例，妻子状告丈夫，即使最后能证明男方有罪，作妻子的仍然要坐牢二年！李清照锒铛入狱。由于亲友们的疏通、打点，她只被囚禁了九天，便放出来。但这场恶劣的婚姻在心中所烙下的创痕，到何年何月才能够平复？
风住尘香花已尽，
日晚倦梳头。
物是人非事事休，
欲语泪先流。
闻说双溪春尚好，
也拟泛轻舟。
只恐双溪舴艋舟，
载不动、许多愁！
历来有一种说法，越是生活波折，越是经历了苦难，体验才深刻、感悟才入骨，诗人才能吟唱出激情磅礴，名扬千古的鸿篇巨制。“国家不幸诗家幸，赋到沧桑句便工。”赵翼可是，要说已进入暮年的李清照所经历的一切挫折、磨难，及一连串的打击是一笔财富一笔收获，不但不应悲伤，反而要高兴，庆幸“因祸得福”！这样才对创作上有利，成全她成为一个重量级的世界文豪，确实不得劲。写作也不是找对象，有困难要上，没有困难创造困难也要上，都愿好人一生平安，这世上哪有甘心找罪受的？
高宗绍兴四年1134九月，在无耻伪军头目刘豫的怂恿下，金兵分两路大举南下。翘然北望，狼烟四起。百姓陷入了极度地惊慌失措。李清照大病初愈，仓皇中不得不弃家逃走，溯流而上，过富阳浙江子陵滩，来到金华，借住于一个姓陈的家中。大约一年后，兵燹平息，她得以返回临安。
绍兴二十年1150，李清照67岁。
人到晚年喜欢回忆，李清照也不例外，在磕磕绊绊的纷繁世事中，她孤身一人，守着孤清的小院，看着赵明成遗留下来的金石录，回顾与丈夫的种种往事。回忆中不断闪现的，是她和赵明诚年轻时共同度过的美好时光。可是如今一切不再，心爱的人，已经不在，没有人，永远都不会有人，在乎李清照这一声孤独寂寞的哀叹，重新点燃爱情的烛光？
李清照怀揣着书画大家米芾的真迹去拜访“小米”米芾的儿子米友仁。米友仁又名尹仁，善行书，早年即已书画知名，南渡后，任兵部侍郎、敷文阁直学士，此时业已是一个75岁高龄的老人。“小米”抚摸着父亲米芾的字迹，百感交集，提笔戏题款识这确是我父老米的手书，一字值千金！两个古稀的老人面对陈年旧物，遥想故人“风樯阵马，沉着痛快”的风光和京都汴梁的十里繁华，不由得恍然入梦，感慨丛生！
落日熔金，暮云合璧，人在何处？
染柳烟浓，吹梅笛怨，春意知几许？
元宵佳节，融和天气，次第岂无风雨？
来相召，香车宝马，谢他酒朋诗侣。
中州盛日，闺门多暇，记得偏重三五。
铺翠冠儿、捻金雪柳，簇带争济楚。
如今憔悴，风鬟雾鬓，怕见夜间出去。
不如向、帘儿底下，听人笑语？
人生最叹老来悲。晚年的李清照是孤独的，痛苦的，孤身一人，没有亲人，没有子女，不得不在回忆当中来打发每一天。一方面她又是个感情脆弱、充满着热情的人，她希望自己能够冲出这个圈子，去接触更多的事物，去感受生活，这种矛盾的心境，情感上的尴尬，无时无刻地不交织在她的内心，交织在创作中，“如今憔悴，风鬟雾鬓，怕见夜间出去。”我已经是老婆子了，满脸皱纹，头发花白蓬乱，这个样子还能出去见人吗？“轻解罗裳，独上兰舟”、“人比黄花瘦”已一去不复返。元宵佳节，酒酣耳热，热闹之后仍不免复归于凄凉，所以朋友们越热情，聚会越欢快，越热闹，内心里边就感觉越沉痛越悲凉！算了，罢了，不说了“不如向、帘儿底下，听人笑语。”
作为女人，李清照不能像岳飞那样驰骋疆场，也不能像辛弃疾那样上朝议事，甚至不能使酒骂座，痛拍栏杆。国事已难问，家事怕再提，门前惟有秋风卷着落叶在生满苔痕的阶石上盘旋。她能说什么呢？李清照有一个孙姓邻居，女儿只有10岁，聪颖灵秀。一天小孩子来玩时，李清照就对她说，你该学点东西，我老了，愿将平生所学相授？不想这孩子脱口说道“才藻非女子事也。”她不由得倒吸了一口凉气，一阵眩晕，手扶门框，才使自己没有摔倒。原来在这个社会上女子有才有情是多余的啊！什么传道授业、著书立说，什么收集文物、汗牛充栋，名动京华，到头来却落得一场空，情无所托，学无所用？可怕的孤独向她袭来。李清照感到自己像是落在了不着边际的深渊里，她茫然前行，走在临安深秋的黄花落叶中，寻寻觅觅，吟出了浓缩全身心痛楚、也确立了她在中国文学史上地位的声声慢。。