清咸豐十年(公元1860年)五月，太平軍侍王李世賢包圍了寧國(在今安徽寧國),分兵向金壇(在今江蘇金壇)、南陵(在今安徽南陵)進(jìn)攻。當(dāng)時提督周天受駐守寧國，總兵蕭知音、參將周天孚等駐守金壇，陳大富駐守南陵。太平軍有數(shù)十萬，清兵抵擋不住。各地都血戰(zhàn)死守，等待援兵。
七月，金壇被太平軍攻下。周天受知道寧國城也守不住，就叫城內(nèi)的數(shù)萬名士兵、百姓全部出城，各自逃生。他自己準(zhǔn)備與城同歸于盡。寧國的老百姓扶老攜幼奔向南陵，陳大富開城門接納了他們。
八月，寧國城陷。太平軍圍攻南陵，攻勢更緊，南陵城內(nèi)的食物已盡。晚上，陳大富派人用繩索溜下城去向水師求援，前后出去多人都被巡邏的義軍抓獲，最后終于有一人逃了出去。
提督楊岳斌聽說南陵危急，立即率領(lǐng)水師揚(yáng)帆出發(fā)。九月，進(jìn)泊魯港(在今安徽蕪湖南魯港鎮(zhèn))揚(yáng)言要進(jìn)攻蕪湖，暗地里卻命令各營扼守各交通要道。十月，水師突然登陸。大出太平軍意料的是清軍并未進(jìn)攻蕪湖，而是把魯港左右的義軍營壘全部燒掉。圍攻南陵的義軍見后方起火，爭相奔向魯港，整個軍隊一片混亂。
陳大富登上城樓，看見魯港方向硝煙彌漫，高興地一拍大腿說：“援軍到啦！”于是率軍出城夾擊義軍，義軍大敗。陳大富一直追殺了10多里，與援兵會合共殲義軍萬余人，南陵城圍終于被解。