江南造船厂的前身是江南机器制造总局，而江南机器制造总局的造船业务，是李鸿章和曾国藩共同创办起来的。

1862年，李鸿章率淮军进驻上海以后，为了和兵力众多的太平军抗衡，于是大量从西方购买武器，武装淮军。装备了洋枪、洋炮以后的淮军确实战斗力大为加强。但是由于此时李鸿章还没有可靠稳定的外购途径，因此购买的西式武器不仅价格高昂，而且时常买不到。

为了解决这一困境，让李鸿章有了“师夷长技以制夷”的想法，考虑自己开办兵工厂仿造西式武器。1863年，在常胜军任职的英国人马格里投入淮军，担任炮队教习一职。为了吸引李鸿章的注意，马格里向李鸿章建议自造弹药，以降低成本，并利用军中工具自己造了一颗炮弹，以证明这一计划的可行性。

马格里的建议正好和李鸿章的想法不谋而合，所以李鸿章马上命他招募工匠，开始生产弹药。并命参将韩殿甲和候补知县丁日昌也分别开设兵工厂，模仿马格里生产淮军所需的弹药。