任贤齐的父亲任文祥1932年出生在武昌县土地堂任家湾一殷实家庭，是小学教师，1949年4月随中国国民党残余部队经广西到越南，后又至台湾。任贤齐是家中长子，名字是由父亲所取，“贤”字是家中的字辈，其名意义为“见贤思齐”。

从小在彰化眷村成长，直到高中毕业才到台北居住。1987年，21岁的任贤齐进入中国文化大学体育系就读，并在这段期间到敦煌乐器一边打工，一边学习吉他，在吉他老师介绍下加入新格唱片公司。