六祖慧能黄梅接法后南归至曲江，曹侯村民曹叔良等重修宝林寺，请慧能居住，后又有恶徒寻难，因慧能预知，先藏于离宝林寺几里之岩石缝中，虽然恶徒纵火焚烧也得幸免，因有“避难石”之名。

《坛经》只记载“避难石”得名之缘由，却无交待此石在何处。《曹溪通志》只说此石在“寺南五里”，具体方位仍无实指。又该志有《招隐岩》条云：

在寺西十里，有巨石卓起，高十数丈，其半有岩。《郡志》：“能禅师常隐居于此。”后僧即岩中祀师。父母提刑耿仲南大书“招隐”二字刻于石，督学周公有诗。