魏晋时期我国实行州、郡(国)、县三级管理体制,其时山东地理范围基本包括青州、兖州全部,冀州、徐州各一部分。“国”指晋分封宗室的领地,相当于郡一级行政单位。以下是根据《晋书·地理志》整理的与山东相关的行政区划：

青州,辖齐国、济南郡、乐安国、城阳郡、东莱国、长广郡等郡国。

兖州,辖济阴郡、高平国、任城国、东平国、济北国、泰山郡等郡国。此外,濮阳国(东郡)辖廪丘、鄄城县,陈留国辖济阳县。

冀州,辖平原国(今德州、聊城一带)、乐陵国(今滨州一带)。

徐州,辖东海郡(今枣庄、郯城一带)、琅邪国(今山东临沂地区)、东莞(今莒县至安丘一线)。

豫州,辖鲁郡(今曲阜、邹城一带)。

南北朝时期,除刘宋统治一段时间外,山东主要属于北朝势力范围,先是由北魏进行统治,后由北齐、北周进行统治。北魏时期设兖州、青州、齐州、济州、光州、南青州、胶州、北徐州、西兖州等,据《魏书·地形志》记载,大致情况如下：

兖州,治瑕丘(今兖州),领泰山、鲁郡、高平、任城、东平、东阳平等郡。

青州,治东阳(即广固),领齐郡、北海、乐安、高阳、勃海、乐陵、高密等郡。

齐州,治历城,领东魏、东平原、济南、太原(今长清东南)等郡。(www.daowen.com)

济州,治碻磝城(今茌平南),领济北、平原、东平、南清河、东济北等郡。

光州,治掖城(今莱州),领东莱、长广、东牟等郡。

南青州,治团城(今沂水),领东安、东莞等郡。

胶州,治东武陵(今诸城),领东武、高密、平昌等郡。

北徐州,治琅邪(今临沂),领琅邪、东泰山等郡。

西兖州,治定陶,辖济阴郡。

此外,冀州和沧州领有今山东西北德州至无棣、乐陵一线、东徐州领有今山东南部郯城、临沂一线,司州领有西北的鄄城、城阳、武城、临清一线。

北齐、北周时期的行政区划,大体沿袭北魏。