花開兩朵各表一枝。弘道元年，唐高宗駕崩，李顯即大唐帝位，為唐中宗。因高宗病入膏肓之時，意欲禪讓大位于武后，奈何中書令郝處俊和中書侍郎李義琰極力反對，只得作罷。武后不甘讓政于中宗，皇太后聽來更覺刺耳，故而萌發廢棄中宗之心。
這日晚膳后無所事事，武后傳來裴炎，問及新帝政績。裴炎道：“啟稟太后，新皇勤政愛民，雖初登帝位，已得百官稱贊。”武太后聽聞面呈不悅之色，冷冷道：“他才當了幾日的皇帝，百官竟就向著他了！”這裴炎位即人臣，自然慣會察言觀色，太后野心他心知肚明。因又道：“只是新帝畢竟年幼，言行尚有魯莽之處，還望太后海涵！假以時日，陛下定會成為我大唐一代明君。”武后問道：“常言‘君無戲言’，身為一國之君，豈可有魯莽言行？愛卿有話不妨直言！”裴炎道：“陛下要任命韋玄貞為門下省侍中，還要授乳母之子為五品官員，微臣以為不可，陛下卻說……說……”裴炎猶豫遲疑，不敢再言。太后大聲喝道：“說下去！”裴炎跪倒在地道：“陛下卻說把天下都給了韋玄貞也未為不可！”太后聽聞，怒道：“反了！”
肆圣元年二月六日，中書令裴炎、中書侍郎劉袆之和羽林將軍程務挺帶兵進宮，宣皇太后令，廢新帝李顯為廬陵王。年過二旬的廬陵王李顯，踉蹌著走下皇帝寶座，脫下了龍袍。
次日，李顯前來辭別他的母后。李顯哭道：“母后，兒臣知錯，兒臣自知資質平庸，不堪擔負社稷重任，有負于父皇和母后的重望。兒臣自幼不喜經綸史書，兒臣畢生所愿，是有朝一日能走出這長安城，游歷我大唐江山，即便做一介布衣，耕田牧羊，侍花弄草，亦是快事。如今兒臣被廢，毫無怨言，竟覺解脫，兒臣懇請母后念母子之情，廢兒臣王位，賜兒臣庶民之身，兒臣再無回長安之心，兒臣想念母后時，必會向著長安的方向遙拜，祈求上天保佑母后安康，以略盡盡兒臣的孝心。”
李顯匍匐在武太后的腳下，拉著她的裙擺痛哭流涕，太后甚是動容，她拉起李顯，目露慈光，道：“顯兒，好生做你的廬陵王去吧，你的心意母后已知，母后雖知天下有幾座城池，幾座名山，卻不得親臨飽覽，生在帝王之家本就是禁錮之命，母后為江山社稷所困，不得不如此，但是顯兒卻可，只是游歷之時，切勿拿出你廬陵王的身份，扮作庶民即可，廬陵王該待在封地思過。”
李顯疑惑的看著母后，感激涕零再度跪下道：“兒臣謝母后隆恩。兒臣知母后最喜花卉，昔日上林苑、群芳圃各花深得母后恩澤庇護，為報仁澤，得母后旨意后競相開放，兒臣猶記得母后花顏笑意，猶記得群花齊放的錦繡景象，兒臣喜花的稟性最像母后，若去游歷，兒臣有心想訪遍天下群花，將來繪圖裝冊呈于母后，權作兒臣的一點孝心。”武太后道：“顯兒惜花愛花，確是最像母后。當日牡丹為花中之王卻不尊旨開放，獲罪被施炙烤之刑，唯有你不顧自身跪求母后，母后亦不忍盡絕其種，但負恩昧良之花，需得懲戒以示警告，遂下旨貶至洛陽，命你同兵部解牡丹四千株赴洛陽，顯兒一路護花，并未使一株有損。爾今你既有此意，就代母后查訪世間群花，想必世間名花不止這上林苑、群芳圃所育的九十九種，你每尋一花，便請寫生畫師描繪著色，注明花期、品性、栽培養護之法，集少成多，編制成冊，母后翻閱，權當親眼所見了。”
次日，李顯攜家眷并隨從三百余人前往房洲，光宅元年末，冬雪初降，李顯一行抵達房洲。原來武太后早已傳旨，命房洲刺史張知騫集結工匠八百人，建造廬陵王城，因廬陵王府先行建成，李顯抵達之日，張知騫出城親迎廬陵王前往王府。
話說這廬陵王府，建在房洲城南。李顯命貼身侍衛裴忠安頓隨行護衛兵士，命韋妃安置眾宮女及家眷仆婦，命管家賈銀安置隨行家丁工匠。房洲刺史張知騫在前廳等候，見李顯行宮廷叩拜禮儀，仍呼陛下萬歲萬萬歲。
他跪下垂淚道：“微臣聽聞陛下被廢為廬陵王，痛心不已，想我大唐開朝至今不過百年……”張知騫拭淚哽咽道：“如今陛下既來至房洲，乃房洲百姓之福，陛下不妨在此韜光養晦，微臣唯愿有生之年能得見陛下重登大寶，彼時必將拼了性命，親護陛下回長安！”李顯聞言，心中默贊刺史忠心，忙雙手攙起他，道：“大人快快請起，本王已是廢帝，萬不得再作舊日稱謂。本王自知資質平庸，唯恐不得建功于大唐社稷，終日惶恐，夜不能寐。本王雖因失言于裴炎招來此劫，但母后終究顧念母子之情，只是廢貶，仍賜廬陵王爵，于本王而言，是福非禍。且本王自出長安以來，一路得覽我大唐山河壯美、百姓安樂，心境甚是順暢。今雖第一日到房洲，已覺山水靈秀，民風淳樸，遠離長安紛爭，正是本王向往之所在。”張知騫聽聞，轉悲為喜，拭淚道：“陛下，不，廬陵王過謙。王爺福澤深厚，現下太后稱帝治國，排除異己，唐室忠良岌岌可危，王爺安然至此已屬萬幸，萬望王爺凡事小心為上，保全自身即是保全大唐，卑職任房洲刺史一日，自會拼力護衛王爺周全，卑職愿聽憑王爺傳喚。”李顯見張知騫忠心于大唐，甚為感念道：“大人忠心，本王明白，本王初來乍到，人生地疏，有的叨擾。如今天色已晚，大人快快請回吧，本王稍作休整，再邀大人敘話。”張知騫忙道：“王爺好生休養，王府一應用度早已備下，若有缺失，請王爺命人告知示下，卑職速速采辦。”李顯忙道勞煩，命人好生相送。