此，在朱棣询问二人的意见时，黄淮和解缙不约而同的建议“立长”，朱高炽成为太子之后，黄淮也成了太子党的核心成员，但这遭到了汉王朱高煦的记恨。
朱棣亲征回京，太子朱高炽迎驾来迟，朱高煦向朱棣进谗言，说朱高炽和支持太子的大臣们，根本没把皇帝放在眼里。朱棣龙颜大怒，将黄淮、杨溥、蹇义三位太子党核心成员全部问罪，关押到锦衣卫诏狱，狱中他赋诗表爱君念亲，忧郁自适之怀，后整理成集，名为《省愆集》，其间与杨士奇奉敕编修而成《历代名臣奏议》350卷。
这一关，就是10年，在明朝，进了诏狱的人，能够活着出来的可能性极小，但这三人都扛了过来，黄淮在受刑的过程中，没有说太子一句坏话，让朱棣非常佩服，朱棣下令善待黄淮，因为朱棣隐约觉得，自己百年之后，黄淮定能成为太子的心腹大臣。
朱棣驾崩，朱高炽继位，是为明仁宗，黄淮终于出狱，官复原职。黄淮在明仁宗、明宣宗时期，夙兴夜寐，为明朝操碎了心，是“仁宣之治”的主要功臣之一。
黄淮晚年居住在茶山南柳“寿征庵”中达二十来年，放情田园之间，怡然自乐，在其《首夏述怀》诗中曰：“杖策田塍间，歌咏聊自娱。”《介庵集》之《归田稿》六卷，计173篇，即是该时段所著述。
黄淮生于元朝末年，从洪武三十年入朝，到明英宗时期病逝，历经洪武、建文、永乐、洪熙、宣德、正统六朝，他治事果断，为人通达，为一代名臣。