靖觀三年，睿王府遭遇百年未有之火災，睿王夫婦不幸雙雙遇難，舉國大悲，圣武帝為睿王夫婦建衣冠冢，葬于皇陵右園。圣武帝三位胞弟，睿王、恭王、勇王，至此全部英年早逝，僅余安圣公主、蕾沁公主兩位胞妹。睿王子琳瑯王于皇宮做客，幸免于難，圣武帝恐其憂思父母，年過幼而夭