康熙二十二年七月初二，康熙被佟佳氏和烏雅氏鬧得不勝其擾，于是下旨，命四阿哥胤禛即刻搬入北五所，北五所里頭所住著大阿哥胤褆、二所住著三哥胤祉、三所迎來(lái)了新的主人——四阿哥胤禛。至此，胤禛的居所算是定了下來(lái)。

雖然搬除了承乾宮，但是胤禛處處以溫僖貴妃