潘忠捏造廷举罪状，上疏朝廷，进行诬陷，刘瑾矫旨逮捕吴廷举入狱，一连几天的严刑逼供，廷举凛然不屈。刘瑾始终找不到罪证，最后只得拿吴廷举从成都返梧州治母丧这件事作把柄，横加“枉道回乡”之罪，廷举仍不服。刘瑾便矫旨把廷举上枷带锁，罚立在吏部衙门前一连十二天，不给饮食，满以为廷举必死。
吴廷举有弟吴廷弼，兄弟从小以节义相规，这时在京为侍郎，“廷举既下锦衣狱，禁止通饮食，廷弼著举人衣冠，携蔬饭泣诣狱门饮食之，瑾矫诏枷廷举吏部前，廷弼日操饭食廷举，夜则卧其械下，如是者九日。”刑部主事宿进见而愤极，上书白廷举之冤，宰相张彩亦替廷举讲话，在公论的压力下，刘瑾只得释放廷举，改判谪戍雁门。“廷弼背负廷举诣都督府领戍牒，汗与泪交垂，见者莫不感叹。”廷举因被刑拷、罚枷致伤并患病，被遣戌雁门时幸得廷弼跟随照料，在流放途中写了一首《示弟》七律：“万里间关作楚囚，半生辛苦为谁谋。倾危九死过苏轼，患难相扶赖子由。心事仰祈天日照，话言敢望史官收。更有一事为君累，葬我云山山上头。”诗中流溢着真挚的感情，他对宦官毫不示弱，也不寄希望于史官的直笔，更没有哀叹悲惨的遭遇，但愿死后能归葬梧州白云山头，显示出他坚强不屈的精神。
刘瑾伏诛，吴廷举获得平反，先后任云南兵备副使、江西右参政、广东右布政使、右副都御史、工部及兵部右侍郎。这期间，他对赈济湖南饥荒，立番舶进贡交易法，疏陈江西军政六事以防宁王宸濠叛乱等方面，卓著功绩。
吴廷举因与副使李梦阳不协，奏梦阳侵官，因乞休，不俟命意去，坐停一岁俸。任兵部侍郎时，上疏抨击陆完、王琼、梁储及大学士兼太子少傅蒋冕，所陈事理亦有偏激之处。结果，陆、王、梁被罢官，以此蒋冕亦自请罢免，廷举任都御史，巡按南畿，对赈恤凶荒，折豪强、植贫弱、禁私铎、止妄工”等方面有显著政绩。
当时，苏州府长洲知县郭波，因得罪在苏州监制御用衣物的提督织造太监张志聪，张伺郭外出即命卫兵把郭拘捕，倒绑在车轮后面拖曳而去。典史肖景腆正在较场练兵，便率兵抢救，百姓亦从高楼上投以瓦石打击张志聪，张志聪又上表诬奏，逮捕了萧景腆，廷举得悉情况，便出面干预，将张志聪种种罪状上报。但结果，张志聪被召回朝，郭波受降职五级的处分，肖景腆亦被调到远方，针对当时主昏政乱，权奸横行的时弊，廷举问世宗朱厚熜上“勤学修政远佞亲贤”疏，并请效法洪武年间修《孝慈录》的故事，汇集当朝好人好事编纂成书，劝勉后世。世宗不悦，廷举便“称疾乞休”，他感到朝政败坏，无所作为，一再上书辞官。由于情绪激动，言语不恭，并引用了白居易和张咏的诗句，其中有“独恨太平无一事，江南闲煞老尚书。”世宗甚为恼火，便准他辞官。
回到家乡后，得到乡亲的热诚欢迎和同情，廷举为官四十年，归来时依然像当年那样，梧州士民在他屋旁建筑一座书院，吴廷举取名“东湖书院”，便在这里孜孜不倦地教学，人称“东湖先生”。东湖书院是漆红色的，所以有人称为“红学”，历代不断修建，一直保存下来，即今梧州卫校红楼。“东湖”，又称“东学塘”、“红学塘”，是梧州人士捐给书院作为基金的，塘里种菜养鱼，自清末以来，被逐渐填平，变成了阜民路。吴廷举创办的“东湖书院”，使贫家子弟获得免费入学的机会，书院一直办到清末，从历史观点来看，这对文化教育事业的发展，是起了积极作用的。