吕良伟祖籍广东廉江安铺镇,祖上原是安铺镇欧家村委会人,后来从欧家村委会欧上村迁到青平镇息安村委会,吕良伟的曾祖父葬在廉江车板,曾祖母和已故的祖宗坟葬在息安一带。吕良伟的祖辈多以从商为主,素有走南闯北、艰苦创业的精神,家族商从打银、布匹贸易等。

吕良伟的爷爷有两位哥哥,解放前,爷爷的两位哥哥迁家到广西山口从商,爷爷带着吕良伟的父亲吕秉荣、叔父吕秉华兄弟俩迁往东兴谋生,后来又从东兴迁到越南芒街。吕良伟在越南出生并度过童年后,他随家从越南迁居香港。