汉初承秦制,只改郡守为太守,郡尉为都尉。诸侯王国,官制略如中央。汉武帝为了加强中央对地方的控制,将全国划分为十三州(又称为部),每州设一刺史,奉皇帝诏巡察郡、国。到了汉成帝时,曾改刺史为州牧,以后或者仍然叫作刺史,或者再改称为州牧。但这时刺史或州牧只是监察官,官阶低于郡守;州(部)也是监察区,不是行政区。东汉末年,改刺史为州牧,居郡守之上,掌握一州的军政大权,形同最高地方政权。
魏晋南北朝时期,地方政权基本上划分为州、郡、县三级。州的长官或称州牧或称刺史,主民政;县的长官一律改称为令。那时,有些外州刺史往往被加上“使持节都督某州军事”或“假持节都督某州军事”的头衔,并加号“将军”,权势很大。
隋取消郡,只存州县。隋末改州为郡,唐又改郡为州,都是两级制。唐又置十个监察区叫“道”,每道派高级京官一人,先后称黜陟使、按察使、采访处置使等,掌监察州、县官吏事,有权罢免或提升地方官吏。此外,隋唐时还合若干州为一军区,长官在隋称总管,在唐称都督。后来唐在边境军区置节度使,都带京官和御史大夫衔,集数州以至十余州的军政、民政、财政和监察诸权于一身,权势很大。“安史之乱”后,节度使势力扩大,割据独立,世称为“藩镇”。