江门在西晋以前都属于南海郡管辖，没有专属的地名，一直到西晋时南北短暂统一，江门还是属广州南海郡管辖，那时候的江门叫做“新夷”。新夷是江门最早的称谓。由于“夷”带有贬义，后来把“夷”改为邑，四邑、五邑、六邑也是江门的别称。

江门市区因地处西江与其支流──蓬江的会合处，江南的烟墩山和江北的蓬莱山对峙如门，故名"江门"。江门建市前为新会县属地。早在元末明初(公元1368－1388年)，这里便形成墟集。十七世纪初，江门墟因商贸而兴盛，逐渐成为珠江三角洲的一个贸易中心，西江中下游一带的商品多在此地集散。