但有人認為楊素心胸開闊，生性灑脫，因此還落了個大隋綠帽王的稱號，楊素的綠帽子還不止一頂，而是三頂，並衍生出三個成語:破鏡重圓、成人之美、紅拂夜奔。
破鏡重圓講的是陳朝樂昌公主和駙馬徐德言的故事。
南陳滅亡，陳叔寶的妹妹樂昌公主流落到楊素府裡，她丈夫徐德言依約來京城尋找妻子，並透過半面銅鏡聯絡到了樂昌公主，楊素瞭解情況後，派人將徐德言找來，不僅將樂昌公主還給他，還送了他們許多錢物。
成人之美講的是李百藥和楊素寵妾的故事。
李白藥是大才子李德林之子，相傳李百藥看上楊素一名寵姬。
竟夜入楊府幽會私通。
楊素髮現此人才華橫溢，不僅沒有治罪，還把愛妾賜給李百藥為妻，並資從數十萬，後來見李百藥有才，於是又奏請楊堅，授李百藥為尚書禮部員外郎，成為一時佳話。
紅拂夜奔講的是紅拂女和大唐軍神李靖的故事。
紅拂原名張出塵，是楊素府中的歌伎，一日，李靖前來楊素府上拜訪，不經意間在人群間和紅拂女對視了一眼，二人一見鍾情，紅拂女當晚就趁著夜深人靜的時候去尋找李靖，想要與他遠走高飛，楊素知道後，不僅沒有追殺他們，反而因為惜才，給他們送去了一份盤纏。
楊素好像是一個矛盾的結合體，不知道哪一個才是真正的他。
秦王楊俊，字阿祗，隋文帝楊堅第三子，楊廣的三弟，幼年仁恕慈愛，崇敬佛教，曾經請求隋文帝讓他去做和尚，隋文帝沒有同意。
開皇元年，封為秦王。
歷任河南道行臺尚書令、上柱國、洛州刺史，加任右武衛大將軍，遷秦州總管，遷山南道行臺尚書令，拜為山陽道行軍元帥，參與隋滅陳之戰。
拜揚州總管，轉幷州總管。
在幷州任上驕奢淫逸，姬妾成群，被嫉妒心極強的王妃崔氏毒殺。
楊廣望著眼前的兩位歷史名人，心中不勝唏噓，臉上卻不動聲色道:“王叔、阿祗，終於把你們盼來了，可想煞孤了！”
阿祗是秦王的小名。
楊堅登基後，便宣佈自己是弘農楊氏出身，而楊素是正兒八經的弘農楊氏的家主，有了楊堅的“認祖歸宗”，楊素的地位自然水漲船高，一夜之間便成了皇室宗親，皇帝楊堅的族弟。
楊素成了楊堅的族弟，自然也就成了楊廣的族叔，楊廣為了獲取楊素的好感，便一直稱楊素為王叔。
弘農楊氏，以弘農郡（陝西省華陰縣）為郡望的楊姓士族，始祖為漢昭帝時期的丞相、司馬遷的女婿楊敞。
楊敞玄孫楊震官居東漢太尉，號稱“關西孔子”，其子楊秉、孫楊賜、重孫楊彪皆為太尉，時稱“四世太尉”“東京名族”。
在我國古代非常注重門第出身，都希望自己祖上能有一位聲名顯赫的人物，即便皇室也不例外，最典型的便是李唐皇室，他們自稱出自隴西李氏，並尊老子李耳為始祖。
後世史學家卻認為李唐皇室跟什麼隴西李氏根本就不沾邊，他們的祖先極有可能是胡人，李世民霸佔弟媳，就是作為典型的胡人風俗習性，正宗的漢人是絕對做不成這樣違背倫理道德的事情來。
隴西李氏，中國古代一個以隴西郡（狄道縣）為郡望的李姓士族，始祖為漢武帝時期的飛將軍李廣，十六國時期，隴西李氏才在亂世中真正興起，西涼王李暠是李氏第一位國君。
南北朝時隴西李氏蟬聯圭組，世位顯著，門第高華，發展到後世，甚至有‘天下李氏出隴西’的說法。
隴西李氏還與趙郡李氏、清河崔氏、博陵崔氏、范陽盧氏、滎陽鄭氏、太原王氏並稱五姓中原七望，是隋唐時期最為顯赫的世家大族。
“臣楊素拜見元帥！”
“弟楊俊拜見二兄！”
楊素和楊俊躬身拱手行禮，楊廣慌忙扶起二人，親切道:“都是自家人，無需多禮，快快隨孤進殿！”
“多謝元帥(二兄)！”
楊廣將二人迎回殿中，立馬吩咐下人遞上茶水。
“二位辛苦了，路上可還順利！”
楊廣親切的關懷道。
“有勞元帥掛念，路上一切順利！”
楊素客氣道。
“二兄你不知道，有了陳叔寶的招降詔書，陳朝所有郡縣無不望風而降，臣弟領著大軍就如同走馬觀花一般，暢通無阻、輕輕鬆鬆便來到建康城！”
楊俊微笑道。
“其實那不是陳叔寶的招降詔書，陳叔寶早就死了，是孤與高公利用陳叔寶的名義發的這封招降詔書！”
楊廣得意的笑道。
“陳叔寶死了？怎麼死的？”
楊俊臉色微變。
“哈哈！說出來你們可能不信，那陳叔寶是自己掉進井裡淹死的……”楊廣大笑道。
“一代帝王掉進井裡淹死，真乃天下奇聞，二兄快給我們講講這到底怎麼回事，弟對此事很感興趣……”楊俊興趣盎然道。
“元帥，快說說吧！臣對此也很感興趣！”
楊素滿臉微笑道。
“事情的經過其實很簡單，當孤帶領大軍殺進皇宮時，那陳叔寶應該是想利用繩索躲在井中，可惜那陳叔寶太重，繩索承受不起，便斷開了，陳叔寶因此落入水中淹死了！”
楊廣揶揄道。
“哈哈，這陳叔寶也算是一朵奇葩，他怎麼會蠢到去藏進井裡，關鍵是還沒有藏住，自己掉進水裡淹死了！”
楊俊毫無形象的大笑道。
楊素聞言也咧開了嘴，臉笑得如同一朵花兒一般。
“好了，笑也笑過了，你們一路趕來肯定也餓了，楊順立刻通知下去，本帥今晚要大擺宴席，宴請各位將士！”
“偌！”
……傍晚時分，陳朝皇宮，燈火通明，舞姿曼妙，衣袖飄蕩；鳴鐘擊磬，樂聲悠揚，平陳元帥楊廣下令烹羊宰牛犒賞三軍，雖然沒有酒，但隋軍將士個個都興高采烈的享受著勝利的喜悅。
楊廣作為平陳元帥，自然高居首位，下面兩邊是一張張的几案，几案之上是各種美食，來參加宴會的有高熲、楊俊、楊素、韓擒虎、賀若弼、王世積、燕榮、宇文述、史萬歲、周法尚、劉方、王韶、王頍、裴矩、虞世基、薛世雄、裴仁基、李充、張須陀、來護兒、魚俱羅、吐萬緒、麥鐵仗、虞世南、李靖等人。