翌年五月，军zhèng fǔ被滇、桂军阀改组，孙中山乃明令设置军事委员会，委员由各省军事长官所派之军事代表组成，规定职权为：“建议军事上之计划及备zhèng fǔ之谘询，但关于备军之特别事宜，得由该军单独建议”。军事委员会以李烈钧为委员长，邓铿、钮永键、李书城、林虎等二十六人为委员。由于南方zhèng fǔ军队派系复杂，备派军阀拥兵自重，尾大不掉，军事委员会的”建议”、“谘询”等职权形同空文。
一九二一年底，孙中山返回广州重建革命政权，并在桂林发起北伐，在建立大本营的同时，设置了“赞襄联合作战，并任大本营与备省各军之联结”的军事委员会。该会与幕僚处、兵站处并列。直辖于大元帅。此时的军事委员会职权范围相当广泛，主要负责“建设**及国防事项”、“作战事项”、“军事统一及各省联防事项”等。以上可视为后来国民zhèng fǔ军事委员会的雏形。
一九二二年八月，由于陈炯明叛乱，孙中山避居上海。不久决定改进党务，制定了新的国民党党童，其中第二章规定：“在zhōng yāng本部设置军事委员会，调查国内外之军制，并研究国内军制改革计划”。翌年二月，孙中山先后任命柏文蔚、吕超、黄大作、蒋介石等十三人为国民党本部军事委员。该机构的设置是国民党针对军事改革的举措，表明了孙中山彻底改造1rì军事制度的决心。
一九二四年一月，国民党召开第一次全国代表大会，实现了国共合作。为了统一军事，孙中山参照苏联军制成规，于是年七月十一rì正式威立国民党zhōng yāng军事委员会，作为党的最高军事决策机关，负责备军的改组工作，依照组织程序，军事委员会委员由国民党zhōng yāng政治会议委派，他们是：许崇智、杨希阌、刘震寰、谭延闺、樊钟秀、胡汉民、廖仲恺、蒋介石、伍朝枢等九人，俄人高和罗夫为顾问。由于当时广州革命zhèng fǔ的军事、财政大权由滇、桂军阀所把持，军事委员会的工作无法开展，不过其所推行的政治训练的方针已随着黄埔军校的开办，而向其他各军开展。同年十一月，孙中山应邀北上，广州大元帅府失去重心。为了适应斗争的需要，在苏联顾问的倡议下，改组了军事委员会，委员由汪jīng卫、许崇智、廖仲恺、胡汉民、谭延闺、蒋介石、加仑和伍朝枢担任，实行集体领导，直属国民党zhōng yāng执行委员会。
一九二五年chūn第一次东征胜利，滇、桂叛军敉平。五月三十rì，国民党zhōng yāng执行委员会通过“整顿军队案”，全面进行军队之整理。
六月二十四rì，再通过“zhèng fǔ改组决议案”，决定建立国民zhèng fǔ，设置军事委员会。七月一rì，军事委员会在广州成立，根据《军事委员会组织法》，军事委员会受中国国民党之指导及监督管理，统率国民zhèng fǔ所辖境内海、陆军、航空队及一切关于军事各机关，研究决定关于国防计划、实施军事动员、军制改革、高级军官及同级官佐任免、陆海军移防、预算、决算、高级军事裁判等及其他与国民zhèng fǔ之政策有关事项。委员由汪jīng卫、胡汉民、伍朝枢、廖仲恺（同年八月二十rì被刺身死）、朱培德、谭延阁、许崇智、蒋介石担任，汪jīng卫兼任主席。军事委员会下设政治训练部、参谋团、军需局、海军局、航空局、兵工厂、秘书厅等。
军事委员会实行合议制集体领导，备委员分掌军事委员会内备重要机关，其决议文件由主席署名，以军委会名义用命令方式发表：其关于政治训练、军需事宜，除主席署名外，须有该管机关长官副署方能生效；关于国防计划实施、军事动员、军制改革、高级军官及其同级官佐任免、陆海军移防、预算、决算及高等军事裁判等，暨其他与国民党zhèng fǔ之政策有关的事项，其文告及命令都由军委会主席和军事部长署名行之。同时规定，凡军委会决议，须经出席委员三分之二通过方为有效：如多数委员不在军委会所在地时，主席与委员一人有决定处置之权。组织法中以上内容和军委会人员的组成体现了集体领导、以党治军的原则。
一九二六年三月二十rì蒋介石制造“中山舰事件”，事件后汪jīng卫请病假他去。四月十六rì，蒋介石任军事委员会主席。六月初，为准备进行北伐，特别设置国民革命军总司令部，并任命蒋介石为总司令，规定总司令部设于军事委员会内，总司令兼军事委员会主席，原属于军事委员会的政治训练部、参谋部、军需部、海军局、航空局、兵工厂等机关均直属于总司令部。由此，军委会的机关、权力转移到国民革命军总司令部之下，军事委员会的集体领导转移到蒋介石一人之手。随着北伐战争的胜利进军，蒋介石的政治野心愈发膨胀，其dú cái手段也越来越明显。为遏制蒋介石的dú cái行为，中国国民党于一九二七年三月在武汉召开了第二届三中全会，会上重订军事委员会组织大纲，决定废止《国民革命军总司令部组织条例》。在国民党zhōng yāng执行委员会下设军事委员会，作为国民党最高军事行政机关；军事委员会不设主席，而由主席团执行国民党zhōng yāng执行委员会关于军事之决议及军事委员会之决议，并处理rì常事务：军事委员会有管理全国海、陆、空兵力及军事制造机关之权。军队的扩充由军事委员会规划和管理，但军事委员会的预算、决算须提出报告于zhōng yāng执行委员会，其重要决议，经zhōng yāng执行委员会通过才发生效力：向外国购买军事机器材料，须经zhōng yāng执行委员会通过。军事委员会委员由zhōng yāng执行委员会在最高级军官中选出委员九至十三人，并在不任军职之zhōng yāng执行委员及统补zhōng yāng执行委员中选出委员六人，并指定主席团成员，主席团中须有3人为不任军职的委员。军事委员会由十六人组成：唐生智、蒋介石、冯玉祥、谭延闺、程潜、李宗仁、何应钦、李济深、朱培德、张发奎、汪jīng卫、孙科、顾孟余、宋子文、邓演达、徐谦。主席团成员为：汪jīng卫、谭延闺、蒋介石、唐生智、程潜、邓演达、徐谦。国民革命军总司令为军事委员会委员之一，由zhōng yāng执行委员会指定，国民zhèng fǔ特任，对zhōng yāng执行委员会负责。原定战争时期总司令的各项特权取消，改为总司令在作战地及jǐng戒地有宣布戒严令之权，并得指挥前方之军民财政备机关。出征动员令由军事委员会议决，zhōng yāng执行委员会通过，总司令执行。军长及其以上军官由zhōng yāng执行委员会任命；师长及其以下军官由军事委员会任命。军事委员会下设总政治部、参谋处、军事制造处、海军处、陆军处、航空处、军事经理处、军事审计处、秘书处和军事教育管理处及军事裁判所。四月十二rì，蒋介石发动反革命政变，南京国民党zhōng yāng执行委员会政治会议第七十九次会议，决定参照1rì制设立军事委员会，并于五月二rì公布组织大纲。该大纲推翻了国民党二届三中全会通过的军事委员会组织大纲。此后，鉴于冯玉祥的国民军和阎锡山的军队相继参加北伐，同时也为了与武汉zhèng fǔ争夺这两股力量，六月二十七rì．南京国民党zhōng yāng执行委员会政治会议在军事委员会组织大纲中追加了“战时最高军事长官如国民革命军总司令、西北国民革命军总司令、国民革命军北方总司令均得出席于zhōng yāng军事委员会常务会议”的条文。同时，军事委员会所设机构也作了变动，设总务厅、参谋厅、军务厅、军事教育厅、海军处、航空处、经理处、政治训练处等机关。七月六rì和八月六rì，南京国民zhèng fǔ先后特任胡汉民等五十二人为军事委员会委员，推定胡汉民、何应钦、李鸣钟、阎锡山、杨树庄、李宗仁、李济深为常务委员。胡汉民是实际上的军事委员会主席。八月十三rì，蒋介石下野。九月十一rì至十三rì，国民党宁、汉、沪（西山会议派）三方在上海召开会议，组成国民党zhōng yāng特别委员会。
九月十七rì，公布<修正国民zhèng fǔ军事委员会组织大纲》，废主席制而改行主席团制，由国民zhèng fǔ从军事委员会中指定若干人为主席团，委员会之会议均由主席团召集：主席团内设常务委员，由军事委员会所在地之主席团委员中推定七人担任，负责处理紧急重大事件，并推定其中一人处理寻常事件（任期三月）。执行委员会之决议案及用委员会名义发布命令，由主席团常务委员署名。zhōng yāng特别委员会于九月十七rì、十月三rì、十二月七rì先后推于右任等七十四人为军事委员会委员。这时的军事委员会的委员几乎襄括了国民党所有的军政机关和军以上的主要高级官员，以示对其拉拢和羁縻。
同时由白崇禧、朱培德、李宗仁、李济深、汪jīng卫、何应钦、胡汉民、唐生智、冯玉祥、程潜、杨树庄、蒋介石、阎锡山、谭延阁组成主席团，内以李宗仁、李济深、李鸣钟、何应钦、杨树庄、阎锡山、胡汉民为主席团常务委员。军事委员会的活动除继续与北洋军作战外，宁汉战争期间，组织军队西征武汉。不久宁粤对立，又南讨张发奎。