1703至1705年，白金汉公爵约翰·舍费尔德在此兴建了一处大型镇厅建筑，将府邸改名为“白金汉府”，19世纪前期的豪华式建筑风格，庞大的规模甚至比华丽的外表更加引人注目。之后它曾一度用于帝国纪念堂、美术陈列馆、办公厅和藏金库。直至约六十年之后成为王室成员住所。