李旦被逼退位后，偕爱妃胡凤娇南下至汉阳避难，称汉阳王。出奔南下时，途经管山，并在管山大庙逗留。李、胡两人在管山大庙逗留期间，庙内僧人对李、胡两人的生活照顾得十分周到，还多次设道场，做法事，求菩萨保佑他俩早日回京。
李旦在管山时，心情十分惬意，生意得逍遥自在。后来临淄王李隆基（李旦之子）率领羽林军攻入宫迋，诛杀韦皇后及安乐宫主、上官婉儿、武廷秀等……临淄王李隆基与太平公主（李旦之妹）一起拥立李旦复位，废黜少帝李重茂，改年号为“景云”。李旦复位后，不忘在管山避难时僧人对他夫妻俩的关心和照顾，命朝廷出资重修管山禅寺，并御赐寺名“紫荆寺”。
