张全义，字国维，濮州临濮人。他们家并不是豪门望族，祖父和父亲都是农民，张全义最初也只是县里的啬夫。当地的县令很看不起他，多次无缘无故地侮辱他。张全义不堪其辱，便在黄巢起事的时候投奔了起义军。后来，黄巢占领了长安，任命张全义为吏部尚书。后来黄巢失败，张全义走投无路，便去河阳归附了诸葛爽。他屡立战功，深受信任，最后诸葛爽举荐他担任泽州刺史。

光启二年（886），诸葛爽因病去世，他的儿子被任命为留后，但他的两个部将刘经和李罕之为了争夺地盘打得不可开交。张全义和李罕之兴趣相投，相谈甚欢，因此和他结成同盟，一起攻打刘经。最后，李罕之和张全义在李克用的援助下打败了刘经，赶走了诸葛爽的儿子，占领了河阳。于是，李罕之自领河阳节度使，并推举张全义为河南尹，负责治理洛阳。

张全义出身农家，节俭惯了，当了官也没有丢掉这个好习惯。当时的洛阳饱经战乱，破败不堪，大片的耕地荒废。张全义便招抚流亡的民众，劝事农桑，恢复生产，同时为政从宽，减轻刑法。他又挑选身强力健的士兵加紧训练，防御贼寇。没过多久，社会就恢复了生产，一切变得井井有条。因此，张全义在军民间都享有美誉。

张全义招抚流亡的民众，劝事农桑，恢复生产。(www.daowen.com)

但李罕之性情残暴，任性妄为，不守法度，经常向张全义索要粮草。两人曾经也算是患难之交，但李罕之索求无度，不知收敛，又经常仗着自己兵多欺压张全义，使得张全义对他越来越不满。

文德元年（888），李罕之带兵外出攻打晋、绛等州。张全义趁着内部兵力空虚，出兵攻下了河阳，随即兼任河阳节度使。李罕之得知后非常气愤，又再次向李克用求救，讨得精兵三万，随后围攻河阳。张全义率领军民坚守城池，对抗敌军。不久，城中粮草尽绝，形势危急，眼看就要被攻破了。张全义便向朱温求援。朱温派兵解了河阳之围，李罕之知道敌不过，只好撤退了。接着，朱温派大将丁会驻守河阳，让张全义仍然担任河南尹。张全义非常感激朱温的救命之恩，从此对朱温死心塌地，听从号令。