陷常州，其父洪彦先死于巷战，家属十七人投河。唯洪述祖与其母张氏被人所救。后依靠叔父洪彦哲生活，并在其门下受学。
光绪四年（1878年）考取秀才，但其后八年间屡试不第，于是以游幕为生。先后佐理江西学政陈宝琛、江西巡抚潘霨、钦差大臣督办福建军务左宗棠和台湾巡抚刘铭传之幕府。
光绪十四年（1888年），洪述祖被刘铭传派去英国，验收台湾商务局在英国订造的“驾时”、“斯美”两艘快船。事后刘铭传弹劾洪述祖私吞公款，遂被革职并下淡水县狱。
光绪十九年（1893年），洪述祖出狱，北上天津投奔同乡津海关道盛宣怀。不久甲午中日战争爆发，洪述祖被派往朝鲜，负责电报事务，并在那里结识了袁世凯、唐绍仪。战后洪述祖回江苏谋生，从此其名由洪熙改为洪述祖，并入余联沅之幕府。
光绪二十八年（1902年）秋，清廷重新起用洪述祖，以候选知县分发湖北。在汉口任职两年多，历任汉口清丈局坐办、汉口厘局交涉文案兼办鄂中洋务交涉、汉阳府夏口厅发审委员、汉口警察第二局总办等职。
光绪三十一年（1905年）春因与江汉关道继昌不和，洪述祖辞职，重返上海，协助李经方办理安徽铁路事宜。
光绪三十三年（1907年）被选拔到直隶任职，历任全省水利总局会办、洋务局会办、印花税局会办、度量权衡局会办等多个差使。一年试用期满后，直隶总督杨士骧给他的评语是“精明干练，颇知大体，堪为优等”，奏请留省补用。