前秦时期，苻融在冀州时，对崔玄伯十分敬重，奉为上宾，处处以礼相待，授任他为阳平公侍郎、冀州从事、主管征东记室。在外，他总管处理日常事务；入内，则是苻融的宾客好友。每日政务繁多，玄伯处理得井井有条，且处事果断，从不拖泥带水。前秦主苻坚听说了玄伯的事情，对他的才能感到惊异，要召崔玄伯作太子舍人，玄伯以母亲身体有病婉言辞谢，不久被降职为著作佐郎。太原人郝轩，一向知人善任，认为玄伯有辅佐帝王的才能，当今之世没有人能与之相比。玄伯因躲避战乱滞留在齐鲁之间，被叛将张原页羁留，郝轩扼腕叹道：“这样有才华人遇到如此动乱年代，不能借扶摇之势奋起，只能与燕雀之辈同伍，岂不是太可惜了！”

虽战争频仍，兵荒马乱，玄伯仍专心致志刻苦攻读，也不在意家中财产多寡，他的妻子跟随他不免常遭受饥寒折磨。

魏太祖征讨慕容宝，驻扎在常山，崔玄伯弃城远奔海滨。太祖早就听说玄伯有奇才贤德，爱才心切，马上命人轻骑追赶，请回军中大营，立刻召见。与崔玄伯纵论天下大事，果然满腹经纶，应对如流，心中大喜，任命他为黄门侍郎，伴驾左右，协助处理机要大事，为朝廷制定法令礼俗。

太祖要重定国号，交有关机构议论。玄伯引经据典，上自三皇五帝，下至殷商秦汉，历数其制定国号的由来原委，最后论及当世称：“我国拥有广袤北方领土，地域辽阔，现传至陛下，蛟龙腾舞，应运而生。陛下虽是承继旧国，但又开创新业，于登国元年改代国为‘魏’，现又有慕容水进献魏土，国力更盛，以‘魏’命国，意味着神州大地，我为头等大国，这是改朝换代徵验，是大吉大利的兆头，臣以为应立国号为‘魏’。”太祖觉得玄伯所言极是，欣然同意，于是四方宾王进贡，都称“大魏”。(www.daowen.com)

太祖驾临邺地，召玄伯询问旧事，玄伯熟知历史，一一从容应对，有问必答，大祖非常满意。此后，任命玄伯为史部尚书。大业初创，百业待兴，玄伯受命，督促各有关机构设置官职爵位，制定朝廷礼议，颁定法令律条，明确各种规章制度，最后交由玄伯审查裁定，一旦确立，就作为今后长久的规范。此时的玄伯。位权重名望高，可以说是要风得风，要雨得雨。人逢得势，最易忘乎所以，日渐奢侈，为所欲为，以致招致祸灾。但玄伯一向清醒，自律很严，不随同流俗。官越做越大，仍一如既往，洁身自好，俭朴清廉，从无分外之举。玄伯淡泊利禄，自己不经营产业，家徒四壁，清贫如洗。出门不乘车马，朝夕步行上下朝。老母七十高龄，每日也是粗茶淡饭，太祖久有耳闻，曾派人秘密察访，果然不错，因而对他更加器重，优厚赏赐。也有人讥笑玄伯这样自苦未免过分，他听后都泰然处之，不因别人的议论以至嘲讽而改变初衷，反倒格外小心谨慎，清廉一贯。

太祖驾崩，太宗尚未继位，此时清河王拓跋绍听说朝中人心不稳，觉得有机可乘，使拿出大批钱财布帛馈赏朝臣，收买人心，只有玄伯知道他居心叵测，坚决不肯接受。太宗登朝，因玄伯拒受拓跋绍财物，有忠臣的节操，非常敬重，屈尊登门看望，特别赏赐丝帛二百匹，这令曾接受过拓跋馈赠的重臣长孙蒿等人愧疚不已。