后来，朱温称霸中原，想挟天子以令诸侯，逼迫唐昭宗东迁洛阳。他命令张全义负责修缮洛阳的宫殿，张全义也不含糊，工作起来十分卖力。

昭宗到达洛阳后，朱温意图谋朝篡位。他担心张全义仍然对唐朝念有旧情，不太放心，就把他调任为天平军节度使，封为东平王。不久，昭宗被杀，朱温另立新帝。张全义又重新被任命为河南尹，兼忠武军节度使。

朱温正式篡唐建梁后，张全义又被任命为河阳节度使，晋封魏王，可谓深受重用。张全义兢兢业业、小心谨慎地侍奉着朱温，唯恐自己哪里做得不到位。

朱温到了晚年后，性情暴虐，疑心渐重，动辄杀伐，很多开国功臣都被冤杀。张全义为了保住性命，把家里的财产都拿出来供奉朱温了。

张全义率领军民坚守城池，对抗敌军。(www.daowen.com)

乾化二年（912），朱友珪弑父篡位，当上了皇帝。他任命张全义为河南尹、宋亳节度使等。后来，朱友贞起兵杀掉朱友珪，在汴京即位。

张全义又被任命为汴京留守，兼镇河阳，不久，又被授任天下兵马副元帅。

梁末帝在位时，赵岩、张汉杰等小人把持朝政，祸乱朝纲。末年，梁晋交战，形势十分危急。梁末帝任命段凝为北面招讨使，前往前线抵抗晋军。张全义知道他不能胜任，派遣使者禀告梁末帝说：“我承蒙先帝厚爱，陛下又委任我做副元帅。如今国家危急，战事不断。段凝资历尚浅，不足以担此大任。我虽年事已高，但仍存报国之心。老臣自请统兵杀敌，为国家解难，为陛下解忧。”

梁末帝不听，执意任用段凝。结果被晋军攻破了都城，身死国灭。