卢俊义从这些草草造就的海军上面开始制定日后的军制。
一开始卢俊义在改造军制时尊重了宋朝和以前的汉唐时期的传统，没有改造的非常突兀。但是后来转念一想，前面的不一定就是正确的，如果它是正确的，为什么他们的军制没有帮助他们获得成功呢，为什么后人要改掉它呢。归根结底，卢俊义想跟这个时代孱弱的宋军有所不同，也想到这是属于自己的军队，自然要使用自己熟悉的军制。但是又一想，在这宋代，不但要让自己清楚，还要让其他将领习惯明白，所以也适当引入了宋军的编制。
宋朝时禁军编制是，五十人为一队，两队为一都，五都为一指挥，五指挥为一军，十军为一厢。这种军制有很大的问题，一个队的规模太大，最基层的队正往往是普通士兵选拔来的，他无法一下子指挥五十个人，两队化成一都，那都头很容易被队正给架空，然后十军为一厢，那厢主掌控的也太多了。这样的编制一定要改。
卢俊义针对这个时期基层军官很难培养的特点，并没有采用后世的三三制，而是采用了明朝的四五制。卢俊义将自己的军队分为下列几级，伍、队、都、旗、营、师、军。这是他自己的军队，他是要造反的，不用在乎什么私改军制的罪名。
一伍自然是五个人，统领为伍长，一名，靠士兵推选。
一队四个伍，二十人，正副队长各一名、一名监军。
一都五个队，一百人，正副都头、正副监军各一名。
一旗四个都，四百人，设有一个旗正和两名旗副、正副监军各一名。
一营五个旗，二千人，设有一指挥和两名副指挥、一个正监军两名副监军。
一师五个营，一万人，设有一师长和三名副师长、一名正监军三名副监军。
一军五个师，五万人，设有一正军长三名副军长、一名正监军三名副监军。
各级队伍地顺序按照编码从第一到第二。以此类推。