，但后来却因为几件小事，而反目成仇，而且责任还出在他本人身上。再有他与岑述的关系也很不好，到了相互忿恨的地步。对此，诸葛亮曾经严肃地批评过张裔，诸葛亮说：“你过去在陌下被我军打败，我当时很为你的安全担心，吃饭也吃不香，后来你又在南方流浪，我又很为你的的处境而悲叹，睡觉也睡不安稳，你一回来，就马上委你以重，共同参与国政。我还自以为与你的交情坚如磐石，既然交情坚如磐石，举荐对方的仇人以获取帮助，举荐对方的至亲以明大公无私，这些都不用向对方解释，取得对方的理解，更何况我现在只是重视岑述，你怎么就受不了了呢？”
后来张裔去世，他的儿子张毣继承他的爵位，历任三个郡的郡守和监军，张毣的弟弟张郁，任太子中庶子。