李家父子從楊廣手中奪取天下後，為了提高家族民望，便向外宣稱自己是隴西李家的後人，但自視甚高的五姓七望卻不予承認，還大言不慚的說，李淵父子這一脈，在先祖時期就和鮮卑人透過婚，血統早已不純正，不能算隴西李氏子孫，更不屑與這樣血脈不純正的家族通婚，可把李淵父子氣得夠嗆，但更無奈的是，堂堂皇室受到這般侮辱，卻只能忍氣吞聲。
有人難免會好奇，這五姓七族到底有何底氣，如此牛逼轟轟，敢不把朝廷不把天子放在眼裡？那是因為在唐初期，五姓七望的勢力太過龐大，家族子弟不僅把持中央，而且盤踞地方，這些地方五姓七望的影響力，絲毫不弱於皇權，朝廷的政令能不能執行下去還得看他們的臉色。
更為要命的是，五姓七望彼此之間互通婚姻，關係盤根錯節，很多時候都是牽一髮而動全身，即便你是皇帝，為了國家的穩定，也不得不退讓。
所以在李淵、李世民在位期間，對於五姓七望的政策是一邊拉攏一邊打壓，直到高宗時期，李唐皇室對天下的把控力進一步加強，這種半拉攏半打壓的政策才有所改變，變為以打壓為主，唐高宗李治甚至下令，五姓七望之間不得通婚，但是五姓七望甚至都不理睬李治，繼續我行我素。
同時，這條政令頒佈之後，五姓七望反而在民間的人氣越來越高，甚至直接影響到了朝堂，盛唐時期有位宰相，名字叫做薛元超，他曾經這樣說：“此生所遺憾者，未能娶五姓女也.”
由此我們可見，那時候的五姓七望的影響力，到底有多恐怖。
楊廣的第一名妾室便是聞喜裴氏家主裴矩之女裴淑英，裴矩也不知道看上了楊廣那一點，死皮賴臉的要把自己的嫡女嫁給楊廣為妾。
楊廣起初是推辭的，因為他知道自己的母親獨孤伽羅是一位極為善妒之人，她不僅要求自己的丈夫楊堅發誓“相誓無異生子”，更要求自己的兒子以及所有大臣都從一而終，專寵一人。
獨孤伽羅的善妒已經達到了世間罕見的地步，楊堅只不過耐不住寂寞臨幸了尉遲氏一夜，獨孤皇后知道後勃然大怒，直接打翻醋罈子，當即把尉遲氏殺死。
面對如此妒婦，貴為天子的楊堅竟然也害怕了，為了避免禍端，騎著一匹快馬跑了。
後來在兩位大臣的調解下，獨孤氏才消氣，兩人才得以和好。
獨孤伽羅除了痛恨丈夫寵幸其他嬪妃以外，她還對大臣寵溺妾氏深惡痛絕。
少年便與之相知的大臣高熲髮妻不幸染病身亡，見少年好友深情於髮妻，她表示出由衷的歡欣，可是當聽到高熲的妾氏即將生產的訊息時，一下子點燃了她心中的火藥桶，瞬間爆發，馬上就忘了與高熲的少年之情和開國之功，立馬要求自己的丈夫廢掉賢臣高熲。
獨孤伽羅還很痛恨兒子寵愛妾氏，楊勇為獨孤氏和楊堅的長子，本來穩坐太子寶座，結果因為楊勇冷落母后獨孤氏為其選定的名門閨秀元氏（北魏皇族）而去寵幸一個出生卑微的妾氏雲昭訊，引起母后獨孤氏的強烈不滿，最後在獨孤氏的唆使下，廢掉了長子楊勇的太子之位，改立善於偽裝和在母后面前炫夫妻恩愛的楊廣前身為太子。
正因為如此，楊廣才想拒絕裴矩的聯姻要求，裴矩也是一位心思玲瓏之輩，彷彿看穿了楊廣心中的想法，便對楊廣言道:皇后不是反對皇子納妾，而是反對皇子冷落正妻，寵愛小妾，不然太子也不敢妻妾成群。
楊廣覺得有道理，同時他也很看重裴矩的才能以及他背後的聞喜裴氏，於是便半推半就的同意了這門婚事。
這裴矩可不是一般人物，他是長孫晟之後隋朝最傑出的外交家，給後世還留下一個“千古迷臣”名號。
為什麼要稱裴矩為千古迷臣，因為大家不知道這裴矩到底的奸佞還是忠臣。
說他是忠臣吧？但他在楊廣手下為臣時，又助紂為虐，幹了很多惡事。
說他是忠臣吧，但他在李世民手下為臣時，又敢犯顏直諫，幹了許多好事。
又是說他讒言媚上，見人說人話，見鬼說鬼話，是一條變色龍，是一個十足的小人。
但也有人說他識大體、知進退，是一位識時務的俊傑。
無論人們如何品論裴矩，但都無法否認他的能力和才幹。
裴矩歷仕楊隋、宇文化及、竇建德、李唐四家，前後經六十餘載，“年八十，而精明不忘”。
裴矩曾用優美的文字撰寫了《西域圖記》，把當時西域四十四國的山川地貌、風俗民情，記載得十分詳盡，十分耐讀，為大唐溝通西域做出了重大貢獻。
雖然後世對裴矩褒貶不一，但誰都不能否認裴矩的是一位極富才幹之人，況且他背後還一個人才輩出的聞喜裴氏，單隋唐時期就名流無數。
比如，主持修編《開皇律》的裴政；獨創“貌閱法”，官至御史大夫的裴蘊；鼎助李淵起兵，官至宰相的裴寂，隋朝大將裴仁基，以及他的二個兒子裴行儼、裴行儉……這些人才看得楊廣直流口水，只要和聞喜裴氏家主裴矩聯姻成功，這些人才還不是楊廣的囊中之物。
更何況和楊廣聯姻的裴淑英，性婉順、有容德，極富主見，又是一位難得的賢內助，楊廣又有何理由拒絕呢？楊廣的第二位小妾是來自太原王氏的王知秋，促成這樁婚事之人便是王知秋的哥哥王頍，王頍出身太原王氏，通曉五經，頗曉兵法，原在南梁為官，南梁滅亡後便投降了隋朝，王頍畢竟是降臣，再加上大隋朝廷人才濟濟，因此王頍不受重用，仕途坎坷。
窮則變，變則通，王頍為了自己的仕途風順，便毅然決然的加入了楊廣的陣營。
王頍的投靠讓楊廣很詫異，因為這貨歷史上先投靠了太子楊勇，楊勇奪嫡失敗後，他又投靠了漢王楊諒，並慫恿楊諒造反，在楊諒造反失敗後，被楊素所殺。