我国最早记载荔枝的文献是西汉司马相如的《上林赋》。“荔枝”两字出自西汉，而栽培始于秦汉，盛于唐宋。古名离枝，意为离枝即食。荔枝栽培史可上溯到汉武帝时期。因其风味绝佳，深受喜爱，唐代或更早即已列为贡品。

中国的古籍中荔枝最初作"离枝"。一般相信荔枝是源自中国南部的野生森林。公元三世纪时张勃着的《吴录》有 "苍梧多荔枝，生山中，人家亦种之" 的记载。苍梧便在今日的广西境内。现在广东茂名、高州，广西及海南的原始森林中仍然可以找到野生的荔枝树。