力争一城，得到了它也未能遏制敌人，没有得到它也对国家无害，忠嗣怎么能以数万人的生命去换取一个官职呢？如果皇上责备我，不就是失去一个金吾羽林将军，回朝做侍卫吗！其次，难道失去一个在黔中的辅佐人吗？这些我也心甘情愿了。即使这样，你还是爱护我的。”光弼谢道：“我担心连累大夫，因而向你提出忠告。大夫能遵循古人之事，不是我光弼能达到的。”于是恭敬退出。等到延光逾期未攻下城堡，却上奏说是忠嗣延缓出兵，因此导致战事无功。李林甫又命令济阳别驾魏林诬告忠嗣，声称自己过去在担任朔州刺史，忠嗣任河东节度使时，忠嗣曾经说：“早年与忠王在宫中一起生活，我愿意尊奉太子。”玄宗大怒，召见忠嗣入朝，命令三司详细审讯，几乎被陷害致死。适逢哥舒翰代替忠嗣为陇右节度，承蒙皇上宠爱，因而上奏说忠嗣为冤枉，辞语非常恳切，请求以自己的官职来替忠嗣赎罪。玄宗怒气才稍稍消释。十一月，被贬为汉阳太守。七年(748)，经权衡后又转任为汉东郡太守。第二年(749)暴死，年龄为四十五岁。儿子震，天宝年间(742)任秘书丞。
之后，哥舒翰指挥大军攻打石堡城并占领了此城，却死伤大半，正如忠嗣所言，忠嗣被称为当代名将。在此之前，忠嗣在朔方的时候，每当到集贸市场时，就以高价买马来引诱，各蕃听说后，都竞相来交换，来了便买。所以蕃人的马匹越来越少，而汉军越来越壮大。等到了河、陇两地，又上奏请求迁徙朔方、河东的战马九千匹用来补充军队，其队伍又有了壮大。到了天宝末年，战马繁殖增长。宝应元年(762)1387