在构筑国家的行政机构的同时，忽必烈为了加强中央集权，开始采取措施大力削弱诸王勋贵以及汉人世侯的权力。蒙古帝国对宗室贵族的分封，导致了统治区域内出现了很多大大小小的藩王。他们虽然名义上服从于中央汗廷的领导，但各自拥兵自重，形同一方割据势力。忽必烈上台后，认为这不利于中央帝国的统治，于是展开了大规模的削藩运动。他先是通过授爵赐印的方式，确立了君权的威严，接着，又通过定军籍、建都府等措施，削弱了诸王草原领地的军权，随后又收回了诸王领地的司法权。此外，忽必烈还从税收、食邑官任命等方面，逐渐地削弱了诸王食邑的实力基础。这样，诸王对元朝统治中央的威胁也就大大地减轻了。
对于忽必烈统治中央的威胁，还有相当大一部分是来自于蒙古册封的汉人世侯。自成吉思汗开始，蒙古经略中原的时候，采取了“以汉治汉”的策略，招抚和收降了一些汉族官僚和地方武装势力。因此，一些汉人将领就逐步掌握了蒙古统治区的地方政权，且各握重兵，多者五六万，少者也不下两三万。中统二年（1261年）秋，山东地区的汉军万户李澶叛乱。虽然这次叛乱很快就镇压下去了，但此事以后，忽必烈对汉人疑忌心理加重，于是便以此为借口，规定汉人将领不能兼掌兵、民之权。史天泽等汉将为了表示对忽必烈的忠诚，纷纷交出了兵权。忽必烈还通过取消世侯封邑等方式，彻底削除了汉人世侯的势力，使中央集权进一步牢固起来。