時隔不久，李靖就帶上厚禮和隨從啟程去了突厥國。李靖走后的第二天，李淵開始了自己的計劃。這個李淵有雄才大略，可謂一代梟雄，他裝病輕易地蒙騙了王威和高君雅二人，之后相繼做了三件大事。第一件，李淵派李建成和李世民以平叛為名攻取了西河郡；第二件事，公元671年六月份，李淵親手斬殺了王威和高君雅二賊，并且給二人安了一個謀反的罪名。這總算出了李淵心頭的一口惡氣，他感到無比地舒暢。李淵每每想到二人臨死前搖尾乞憐的情形，一種從未有過的快感在心頭油然而生。他絲毫并不憐惜二賊，反而覺得他們死得活該。這些天李淵可真是忙極了，他飲食俱廢，整天都在琢磨李世民呈遞的起兵方略。
起兵前，李淵專門召開了一次軍事會議。一天中午，太原城的文臣武將陸續地來到留守府。留守府戒備森嚴，三步一崗五步一哨，如臨大敵一般。太原城的百姓議論紛紛，有的說，太原城要出大事了；有的說，太原城正鬧刺客呢；有的說，王威高君雅謀反的事兒還沒完呢.......總之說什么的都有。留守府的會客廳甚是寬敞，能容下百十號人。正當中上垂首坐著唐國公李淵，左右兩邊分別是李建成和李世民，二人甲胄在身，腰懸寶劍；接著眾人找到自己的位置紛紛落座。李淵先用目光掃視一下大家，見大家到齊了，這才朗聲道：“諸位，我請你們來是有大事相商的。”李淵聲音不高，但很有威嚴，有一種君主的霸氣。謀士裴寂先發言了：“唐國公，你德高望重，我等馬首是瞻唯命是從就是了。”謀士劉文靜在一邊道：“主公你就跟大伙講吧。”李淵微微一笑道：“我李淵想在太原起兵，然后兵發長安，不知你們有何意見，請暢所欲言？”謀士裴寂道：“我看眼下不宜起兵，雖然大隋滅亡是遲早的事兒，但是痩死的駱駝也比馬大啊。”謀士杜如晦在一邊按捺不住了，他說：“依在下之見，可按兵不動，坐視李密的瓦崗軍和朝廷斗得兩敗俱傷，我們再出兵也不遲！”大將房玄齡大聲道：“唐國公起兵正是時候，先攻取長安然后以此為基業平定四方，天下不難定也。”李淵素有君王大志，但生性猶豫不決，他沉吟了半晌兒，卻不發一言。二子世民道;“父親，兒臣與房將軍的意見一致，我們可先取長安，長安是隋朝的都城，一旦占據，便占盡了天時，之后兒臣愿領兵平定四方軍閥，時不我待啊。”世民言辭慷慨激昂，眾人連連點頭。李淵見狀，問道：“你們還有異議嗎？”眾人道：“我等與秦王的意見一致。”李淵露出了笑容，道：“就這么定了。”于是當即決定，即日起兵，自封大將軍親自帶兵兩萬，又封李建成為左都督，李世民為右都督，各帶一萬兵馬。太原起兵，李淵把壓箱底的兵都用上了。他命三子李元霸，四子李元吉留在太原以防突厥。
公元前617年，即隋煬帝大業十四年，李淵在太原起兵，兵發長安。一路上唐兵勢如破竹，先是攻占了霍邑（今山西霍縣），守將宋老生不戰而降。之后義軍從龍門渡黃河，十一月，攻克長安。老賊楊素聽到李淵已經攻取了長安，就上吊自殺了。李淵雖與楊素有點過節兒，但人一死也就把往日的恩怨一筆勾銷了。他厚葬了楊素，并追封他為義國公。義軍紀律嚴明，秋毫不犯，百姓甚喜。李淵登上長安大殿的時候，頓時覺得自己大功告成，有君臨天下之感。他轉念一想，現在當皇帝還不是時候，應該先找個傀儡再說。他于是下令叫人尋找楊廣的嫡孫楊侑了。大將房玄齡搜遍了整個長安城，終于在一個農夫的家中找到了躲避戰亂的楊侑。那楊侑才一十二歲，他此刻嚇得渾身發抖，面如土色，有一種大難臨頭的感覺。當楊侑見到李淵的時候，嚇得都不知道說過什么好了。他見到李淵馬上跪下道：“唐國公，救我性命。”李淵哈哈一笑，扶起了楊侑，道：“王駕千歲，我李淵是來輔隋的，不是滅隋的。”說罷，當即立楊侑為帝，史稱隋恭帝，然后遙尊楊廣為太上皇。李淵自封唐王，加九錫。李淵當即賞賜下面的文臣武將，眾人大喜。
一日，李淵對世民說：“我們雖然拿下了長安，但我的心里總是不踏實，太原城可是我發達的根本啊。如果有失，我們何所歸？”李世民笑道：“父親不必擔憂，我已經派人聯絡突厥了。”“果有此事？”李淵問道。“千真萬確。”李世民自信地說道。李靖第一次到塞外，頓時覺得神清氣爽，草原上長滿不知名的野花，不時發出一陣陣清香，素淡清雅。古人有一首歌兒就是描述草原風光的：“天蒼蒼，野茫茫，風吹草低見牛羊。”草原旖旎的風光，和煙雨江南比起來，別有一番情趣。到塞外領略一下異域風情，真乃人生一大快事！眾人騎馬，不覺數日便進入了草原腹地，目之所及，一片郁郁蔥蔥之色。這時，早有突厥騎兵迎了上來，刀出鞘弩上弓，擺開決戰的架勢。有通譯馬上到了敵人的面前，用突厥話大聲說了一遍來意，突厥兵半信半疑地打量著他們，絲毫也不敢掉以輕心。李靖叫眾人放下兵器，以示意他們不無惡意；突厥兵見了，稍微放點心兒，為首的一名小校用胡笳吹起了號角，聲音嗚嗚咽咽，難聽之極。約莫半晌兒，這個突厥兵用突厥語道：“有請。”通譯到李靖近前低語一番兒，李靖一策馬和隨眾跟著突厥兵來到了突厥王庭大帳。
突厥民族自古以來就是游牧民族，他們一年四季逐草而居，過著居無定所的生活。那一座座蒙古包似的穹廬就是他們安居的家。好家伙，這個突尼可汗真會擺譜兒，只見大帳的入口處，兩廂分別站立八十名刀斧手，一個個身強體壯，兇神惡煞一般。他們把鬼頭刀交叉在一起，只留下一個過道。李靖膽識過人，他什么場面沒見過啊，微微一笑，大踏步獨自一人穿過了刀陣。他暗想，突尼這點小把戲還能唬住我嗎？真是滑天下之大稽。突尼拍手道：“李藥師果然好膽識，好氣魄！”李靖笑道：“太原留守李淵使者來訪，汗王豈無待客之禮？如此缺了禮數，我都替你們感到慚愧。”突尼一揮手，刀斧手紛紛退下。李靖談吐不卑不亢，令可汗心中十分欽佩，，心想此人絕非等閑之人。
那突尼六十左右的年紀，頭戴鑲嵌寶石的王冠，兩鬢斑白，一頭花白的頭發，顯得老當益壯；一雙虎目，炯炯有神，不怒自威。突尼帳內尚有一人，他是突尼的小兒子頡利，那時才二十多歲，雖年幼但顯得精明強干，器宇不凡。突尼發話了：“使者有何貴干？”李靖昂然道：“特為汗王而來。”“為我而來，究竟何事？”“這次唐國公派我來，一來致意并問候王爺，二則是想和你結盟，不知意下如何？”李靖說道。“可以啊，孤求之不得。不過孤以為，天下沒有永遠的朋友，也沒有永遠的敵人，只有永恒的利益。我與你們結盟可是要好處的。我擬定三個方案，若應允，一切好辦；否則，就不能如你所愿了。”說罷一聲長笑。李靖倒也沉著，說：“愿聞其詳。”“一，向我突厥稱臣，永遠朝貢；二，聞我之名，兵退三舍；三，我突厥一旦對內用兵，唐國公須派人協助。”突尼朗聲道。原來突厥一直在欺凌西域等小國，，極耗兵力的。李靖聽了，不覺莞爾，大聲道：“我笑大王乃井底之蛙，坐井觀天，所見不大。唐國公擁兵百萬，帶甲千員，豈會向爾等稱臣？此其一；西漢武帝時，匈奴聞我漢軍霍去病之名，無不膽戰心驚，丟盔棄甲。我家主公乃天下豪杰，必不會畏名而遁。此其二；至于貴方有難，我等自然不會出兵，因為那是你的家務事，此正所謂疏不間親也？此其三。”突尼聽了，半晌無語。頡利聽了，大怒道：“大膽狂徒，今巧言令色，徒逞口舌之利；今天，我倒要看看，是你的牙尖嘴利，還是我的刀快，左右拖出去，砍了。”話音剛落，早有人將李靖綁了起來。李靖大笑：“蠻夷之邦只會仗勢欺人，可笑可笑！”突尼聽了，他干咳一下道：“頡利，你先退下，你若殺了他，漢人肯定恥笑我們是蠻夷的。放了他吧。他是條好漢。”突尼發話了，頡利不情愿地離開，臨走狠狠瞪了一眼李靖。突尼換上了笑容，安慰了一番李靖。突尼很高興，特意為李靖安排了接風宴。突尼說：“唐國公得此英才，天下不難定也。若干年后，我們只有躲避的份嘍。”經過李靖的努力，李淵和突厥訂立了友好盟約，此為李淵起兵創造了有利的條件。