于谦被任命为御史，待高煦出降，宣宗让于谦数落他的罪行，于谦正词崭崭，声色震厉，朱高煦在这位御史的凌厉攻势下，被骂得抬不起头，趴在地上不停地发抖，自称罪该万死。
宣宗大悦，当即下令派于谦巡按江西，平反数百起冤狱，于谦上书奏报陕西各处官校骚扰百姓，诏令派御史逮捕他们。
公元1430年，宣宗知道于谦可以承担重任，当时刚要增设各部右侍郎为直接派驻省的巡抚，于是亲手写了于谦的名字交给吏部，越级提升为兵部右侍郎，巡抚河南、山西。
于谦到任后，轻装骑马走遍了所管辖的地区，访问父老，考察当时各项应该兴办或者革新的事，并立即上书，一年上书几次，稍有水旱灾害，马上上报。
公元1441年，于谦上书说：
“现在河南、山西都积蓄了数百万斤粮食，请在每年三月份时，令府州县报上缺少食物的下等民户，然后按分额支给他们粮食，先给豆类和高粱，其次给小米和麦子，最后给稻谷，等秋收后偿还。
因年老有病以及贫困而不能偿还的则给予免除，州县官吏任期已满应当升迁的，如果预备粮不足，不能离任，还要命令风宪官员经常监察。”
皇上下令施行，河南黄河沿岸经常被洪水冲开缺口，于谦令加厚建筑堤坝，每个乡里都要设亭，亭设亭长，责令其督率修缮堤坝。
又命令百姓种树挖井，结果当地榆柳夹路，行人也不再受渴了。
大同孤立在塞外，按抚山西的官员常走不到，于谦请另设御史来治理，又把镇边将领私人开垦的田地全部收为官家屯田，以资助边防开支。
于谦的恩威远为流行，太行山的盗贼为此而不敢露面，除此之外于谦为官还十分清廉。
正统年初，杨士奇、杨荣、杨溥主持内阁朝政，都很重视于谦，于谦所奏请的事，早上上奏章，晚上便得到批准，都是“三杨”主办的。
到了“三杨”去世，太监王振开始掌权，作威作福，肆无忌惮地招权纳贿，百官大臣争相献金求媚。
每逢朝会期间，进见王振者，必须献纳白银百两，若能献白银千两，始得款待酒食，醉饱而归。
而于谦每次进京奏事，从不带任何礼品，有人劝他说：
“您不肯送金银财宝，难道不能带点土产去？”
于谦潇洒一笑，甩了甩他的两只袖子，说：
“只有清风！”
还特意写诗《入京》以明志：绢帕蘑菇及线香，本资民用反为殃，清风两袖朝天去，免得闾阎话短长。
后于谦入朝，推荐参政王来、孙原贞，通政使李锡逢迎王振的指使，弹劾于谦因为长期未得晋升而心生不满，擅自推举人代替自己，把他投到司法部门判处死刑，关在狱中三个月。
后来百姓听说于谦被判处死刑，一时间群民共愤，联名上书，王振便编了个理由给自己下台，称从前也有个名叫于谦的人和他有恩怨，说是把那个“于谦”和被关起来的于谦搞错了，才把于谦放出来，降职为大理寺少卿，后囚山西。
山西、河南的官吏和百姓俯伏在宫门前上书，请求于谦留任的人数以千计，周王、晋王等藩王也这样上言，于是再命于谦为巡抚。
当时的山东、陕西流民到河南求食的，有二十余万人，于谦请求发放河南、怀庆两府积储的粟米救济。
又奏请令布政使年富安抚召集这些人，给他们田、牛和种子，由里老监督管理，前后在任共十九年，他父母去世时，都让他回去办理丧事，不久便起用原职。
公元1448年，于谦被召回京，任兵部左侍郎，而他最脍炙人口的事迹也正式拉开帷幕。