不久，黄巢大起义失败，张全义也像许多农民起义军的将领一样，投降了唐朝。当时，张全义见河阳节度使诸葛爽较有势力，就投靠了他，诸葛爽屡次派他剿杀起义军残部和袭击其他军阀，张全义立了许多战功。在诸葛爽的推荐保举下，张全义被认命为唐朝的泽州（今山西高平县）刺史。
不久，诸葛爽病死，其部下李罕之与刘经相互仇杀，都希望能占领洛阳。当时，张全义是刘经的部下，刘经就派他去抵抗凶悍的李罕之。张全义带着刘经给他的兵马来到前线，发现李罕之的势力很大，而且战斗力很强，不仅自己，就是刘经亲自前来也无法抵敌，他就投靠了李罕之，反过来与刘经为敌。刘经见张全义背叛了自己，只得向诸葛爽的儿子诸葛仲方求援。在诸葛仲方的支持下，刘经打败了李罕之。李罕之见刘经求救于人，也不甘示弱，就向镇压农民起义军起家的大军阀李克用求救，又反败为胜，占领了许多地方。这样，张全义又被李罕之保荐为河南尹。
这河南尹虽比泽州刺史的官大了些，但却很不好当。李罕之是个只懂得剽掠的军阀，根本不懂得安顿流民，组织生产，因此，总是接二连三地向张全义催逼军需物品。当时军粮极难筹集，尽管张全义努力供应，还是无法满足李罕之的要求。加上李罕之性格暴躁，稍不如意，就对送粮官员大张挞伐，弄得无人敢去送粮。因此，他的许多部下都劝张全义反叛，可张全义总是好言劝慰，不露声色。