“桃花影落飞神剑，碧海潮生按玉箫。”也许是受“金庸笔下桃花岛”以及《射雕英雄传》等著名武侠小说的影响太深，一说起桃花岛主，大家都会异口同声地叫出：黄药师！
民间传说，桃花岛在古代叫白云山，因为它终年白云绕山的景象给周围渔民留下了深刻的印象，故以景名岛。
后来，一个故事悄悄传开：秦代有一个方士叫安期生，他几经寻觅才来到白云山，在一个石洞中修道炼丹，乐不思返。不料，至春夏之交，岛周围乌贼旺发，吸引了各地渔民齐集捕捞，一时人声鼎沸，干扰了安期生的修炼。不得已，安期生只能择地迁居。
当安期生行至海边埠头之时，因留恋美景和旧居，饮酒而醉，取出笔砚香墨欲咏诗抒怀。正值挥毫之际，船老大却来催行，安期生不得不将满砚浓墨泼于岩石之上。浓墨遇石之际，飘洒四溅，竟成朵朵桃花，经久不褪。此事一传十，十传百，迅速流传，遂将白云山改称为桃花山。
