周讷请封禅，胡广进言劝阻，于是朱棣下令禁止。胡广并呈上《却封禅颂》，得到朱棣的喜爱。朱棣曾在筵席时，提到解缙与胡广是同乡、同学兼同事，关系很密切，要求胡广把未出世的女儿，嫁给解缙之子解祯亮。但解缙死后解祯亮被流放到辽东，胡广就想解除婚约，女儿大怒，割耳朵发誓道：“薄命的我这婚事，是皇上主婚的，是父亲大人当面答应的。毁约的话我只有死，也没有第二条路可以走了。”等到解家被赦免，其女仍旧归嫁解祯亮。
胡广做事缜密，在朱棣面前所听的言行内容，其出来后不予告人，其做事也颇为持大体，其赴母丧归朝后，朱棣问其百姓安居之事，其对答道：“百姓生活安居，但是郡县官吏仍然穷治建文年间奸党之事，其所牵连的亲属分支太广，以至百姓为之疾苦。”朱棣随后采纳其言。平心而论，胡广还是有“优点”的，至少，他没有处心积虑地害过人，没有踩着别人的肩膀往上爬，所以他虽然非常世俗，但还算不上坏。可怜的是，他那么怕死，也只活到了四十九岁。
胡广著有《胡文穆公文集》，现有流传于世，文集中书法自成一体，其中《题洪崖山房图诗》七言诗，是胡广为同僚胡俨之“洪崖山房”而作。胡俨自述，自24岁领乡荐便宦游南北已29年，老之将至，对故乡洪崖山水生悠远之思，情之所发，有不能已者，遂系之于诗。现存此诗纸本，从中可观其草书也颇有建树，当时王世贞甚为称赞，而胡广也确以善书享名当时。