房玄齡活著時，家中還融融和和，父慈母愛兒孝順，，一俟房玄齡仙逝，家中便呈現出破敗的景象，先是太宗憐房家一族，讓房遺直承襲其“梁國公”爵位和房家偌大門庭。高陽公主心中不平，便讓房遺愛提出與哥哥分家，房遺直不肯分出家產，還拿出家長的身份將房遺愛痛罵了一通。一氣之下，高陽公主到父親唐太宗處告房遺直，說他常對皇帝口出怨言，心懷不軌。太宗命長孫無忌調查此事，發現是高陽公主任性胡為的誣告。太宗不禁大為惱怒，將高陽公主訓了一頓並不準她再進宮中。房遺直害怕，自己寫奏折要求將爵位讓給房遺愛，唐太宗並沒答應。太宗駕崩，高宗即位後，高陽公主又讓遺愛與遺直相互訴訟分財產，房家兄弟因此遭到貶謫，房遺愛降職出任房州刺史，遺直為隰州剌史。房遺愛因高陽公主故，雖領房州刺史之職但仍留在京城，因任所在房州，故而在京城裏就格外清閑，那段時間，房遺愛時常與丹陽公主的駙馬薛萬徹交往。薛萬徹當時也被貶職寧州，因丹陽公主故沒有前往就任，同病相憐的兩人聚在一起，時常談起貶滴之事，怨氣衝天，薛萬徹時常拿荊王李元景與太宗相比，又牽線將李元景的女兒給房遺則做了媳婦。房遺則當時不過二十來歲，與郡主成婚後也隻在家中讀書求識求智，很少過問嶽父荊王的事情。房遺愛卻因此與李元景、薛萬徹，以及巴陵公主及駙馬柴令武過往甚密。幾人雖對朝裏時有忿懟，常有“假如朝廷有變化，應當尊奉司徒荊王李元景為君王。”的議論，所謂‘朝廷變化’是指太宗皇帝駕崩。這些議論隻不過是略抒胸怨，公子哥兒們無事可幹時說說而已，幾個人沒有誰真想做什麽改變唐朝命運的大事，也沒有誰真能挑起大唐的重任。
卻說那高陽公主，因恨房遺直害她被父皇下令不得進入皇宮，以至於父皇駕崩時都沒有見上一麵，又將那圖謀罷免遺直官職、奪掉他的封爵念頭提了起來，她讓人去高宗皇帝處誣告房遺直對自己無禮，房遺直為辯清白，便上書將房遺愛與高陽公主謀反的罪狀呈了上去，奏折中，房遺直列舉了房遺愛與李元景、薛萬徹等人的話語，並說：“為怕牽累到臣下的家門，所以舉告。”高宗接到房遺直的奏折，吃了一驚，便下詔令長孫無忌審問其事。長孫無忌本與房玄齡因立太子之事有隙，得到審理此事的詔令後，心中大快，想正好報當日房玄齡的一箭之仇了。不過，對付房玄齡這幾個笨頭笨腦的兒子他是遊刃有餘，他更想借此將太宗皇帝與隨煬帝的女兒楊妃所生的兒子李恪置之死地。太宗在時，常有立李恪為儲君之心，而長孫元無忌卻打定主意要將自己妹妹的兒子李治推上帝位。太宗駕崩後，李治果然登上皇位，但李治與酷肖太宗的李恪相比，無論從體質還是從治國平天下來說都要要略遜一籌。因此，李恪活著一天，長孫無忌就不能心安。得知房遺直訴其弟房遺愛與高陽公主謀反之後，長孫無忌覺得是一個對付吳王李恪的約佳機會。那高陽公主自小與李恪兄妹情深，無論嫁與未嫁，隻要李恪回京，他倆必成天廝守在一起，高陽公主謀反，李恪定難脫幹係。但經過調查，沒有一樁事情指向李恪，這讓長孫無忌有些不甘，思量再三，他到天牢裏找到房遺愛，對他說如果你想活下來，你就得檢舉吳王恪參與了這次謀反。貪生怕死的房遺愛為了自保，不僅把他的好友親人全部出賣，還違心的稱與李恪是自己謀反的同謀，並在供詞上畫了押。
此案審結，長孫無忌將審事結果告訴高宗李治時，李治流淚說：“荊王是朕的叔父，吳王是朕的兄長，高陽是朕的妹妹，想求他們不死，可以嗎？”兵部尚書崔敦禮說：“親情故然重要，可是大唐的社稷更為重要，對謀反之人都施以寬刑，以後誰還會為了在唐去出生入死？又如果麵對大唐的臣子黎民？”
那一年二月初二，高宗詔令將房遺愛、薛萬徹、柴令武處斬，李元景、李恪、高陽公主、巴陵公主一並賜其自盡。二月初三，下詔令因侍中兼太子詹事宇文節，特進、太常寺卿江夏王李道宗，左驍衛大將軍、駙馬都尉執失思力，均因與房遺愛交結串通而獲罪，流放到嶺表。其實，宇文節與李道宗與房遺愛案並無牽連，隻因宇文節與房遺愛關係親密，遺愛關在獄中時，宇文節為他開罪辯護，江夏王李道宗平時即與長孫無忌、褚遂良不和睦，故而都有罪過。二月初六，高宗又下旨將與李恪同母的弟弟蜀王李廢為平民，安置在巴州；薛萬徹的弟弟薛萬備流放交州。並罷黜房玄齡在太宗廟陪祭的殊榮。房氏一族包括高陽公主的兩個兒子，全數流放嶺南。吳王李恪的四個幼子也被流放到嶺南。
卻說那高陽公主，因恨房遺直害她被父皇下令不得進入皇宮，以至於父皇駕崩時都沒有見上一麵，又將那圖謀罷免遺直官職、奪掉他的封爵念頭提了起來，她讓人去高宗皇帝處誣告房遺直對自己無禮，房遺直為辯清白，便上書將房遺愛與高陽公主謀反的罪狀呈了上去，奏折中，房遺直列舉了房遺愛與李元景、薛萬徹等人的話語，並說：“為怕牽累到臣下的家門，所以舉告。”高宗接到房遺直的奏折，吃了一驚，便下詔令長孫無忌審問其事。長孫無忌本與房玄齡因立太子之事有隙，得到審理此事的詔令後，心中大快，想正好報當日房玄齡的一箭之仇了。不過，對付房玄齡這幾個笨頭笨腦的兒子他是遊刃有餘，他更想借此將太宗皇帝與隨煬帝的女兒楊妃所生的兒子李恪置之死地。太宗在時，常有立李恪為儲君之心，而長孫元無忌卻打定主意要將自己妹妹的兒子李治推上帝位。太宗駕崩後，李治果然登上皇位，但李治與酷肖太宗的李恪相比，無論從體質還是從治國平天下來說都要要略遜一籌。因此，李恪活著一天，長孫無忌就不能心安。得知房遺直訴其弟房遺愛與高陽公主謀反之後，長孫無忌覺得是一個對付吳王李恪的約佳機會。那高陽公主自小與李恪兄妹情深，無論嫁與未嫁，隻要李恪回京，他倆必成天廝守在一起，高陽公主謀反，李恪定難脫幹係。但經過調查，沒有一樁事情指向李恪，這讓長孫無忌有些不甘，思量再三，他到天牢裏找到房遺愛，對他說如果你想活下來，你就得檢舉吳王恪參與了這次謀反。貪生怕死的房遺愛為了自保，不僅把他的好友親人全部出賣，還違心的稱與李恪是自己謀反的同謀，並在供詞上畫了押。
此案審結，長孫無忌將審事結果告訴高宗李治時，李治流淚說：“荊王是朕的叔父，吳王是朕的兄長，高陽是朕的妹妹，想求他們不死，可以嗎？”兵部尚書崔敦禮說：“親情故然重要，可是大唐的社稷更為重要，對謀反之人都施以寬刑，以後誰還會為了在唐去出生入死？又如果麵對大唐的臣子黎民？”
那一年二月初二，高宗詔令將房遺愛、薛萬徹、柴令武處斬，李元景、李恪、高陽公主、巴陵公主一並賜其自盡。二月初三，下詔令因侍中兼太子詹事宇文節，特進、太常寺卿江夏王李道宗，左驍衛大將軍、駙馬都尉執失思力，均因與房遺愛交結串通而獲罪，流放到嶺表。其實，宇文節與李道宗與房遺愛案並無牽連，隻因宇文節與房遺愛關係親密，遺愛關在獄中時，宇文節為他開罪辯護，江夏王李道宗平時即與長孫無忌、褚遂良不和睦，故而都有罪過。二月初六，高宗又下旨將與李恪同母的弟弟蜀王李廢為平民，安置在巴州；薛萬徹的弟弟薛萬備流放交州。並罷黜房玄齡在太宗廟陪祭的殊榮。房氏一族包括高陽公主的兩個兒子，全數流放嶺南。吳王李恪的四個幼子也被流放到嶺南。