兖州正式作为行政区划是在西汉武帝设十四州刺史时开始的。
三国时,兖州区域属魏。曹操领冀州牧后,为扩大势力范围,缩小其他州并入冀州,但兖州辖区未动。
据《三国疆域志》载,兖州初治昌邑,后移治廪丘(今山东菏泽市鄄城县东)现在的兖州包含在原兖州内。