杨家祖籍开封，曾祖杨全，以材奋武，靖康末为捍卫京城为国殉难。

祖杨渐以遗泽补官，仕官在越之东南。遂置家于上虞。杨忠、杨次山以皇亲国戚赐宅萧山渔浦。

后齐王杨忠逝世葬于渔浦（今萧山义桥）岐山东，冀王杨次山逝世葬于岐山西，故而岐山改称为“杨岐山”，当地百姓俗称“王坟坞”就是今天东方文化园内杨岐山南侧，万佛金塔后面处即是。杨家的王府当时是宁宗皇帝亲赐并御笔“崇福侯府”四字，是何等显赫荣耀，名振江南。

后来由于杨家后代搬迁西兴，把侯王府改为“崇福杨寺”。至明代改为“杨岐禅寺”，可惜到清代咸丰年间被太平军纵火焚烧成一片焦土。

后来虽有重建杨岐寺但规模远不及宋代寺院。这便是南宋崇福侯的来历。