鸦片战争，也是伍氏破财之时。1841年5月，清军战败，被迫向英军交纳600万银元的赎城(羊城)费，伍氏交了110万元。《金陵条约》签订，要求赔款2100万银元，其中300万是商欠，伍氏交了100万元。在民族危难之际，伍氏作为富人，即便出多少钱我们都认为是应该的，毕竟国家、民族利益高于个人利益，何况伍氏有那样的财力。
但是，事情还有另外一方面，即在大清帝国的统治之下，商人不过是官吏敛财的对象，其生命和财产安全都是完全没有保障的，个人尊严就更不用说了，这样的社会，对商人是否公平？对国家、民族是否有利？
对于商人伍秉鉴来说，既然无法改变现实，逃避就成了唯一的选择。耄耋之年的伍秉鉴看来已经看透了世局，所以他想到了移居美利坚。伍秉鉴信中流露的心态，学者陈国栋的评论是恰当的：“看来鼎鼎大名的伍浩官(浩官是伍氏怡和行的商名)不但对洋行的工作失望了，对整个华夏的社会制度也失望了。”