李淵祖籍隴西成紀（今甘肅秦安），他的祖父李虎，是後魏的隴西郡公，官最高到太尉，死後追封唐國公，這就是後來李淵所建大唐年号的來曆。李淵的父親繼承了唐國公的封号，在北周時任柱國大将軍。在公元566年（北周天和元年）出生于長安，僅7歲就繼承了唐國公的稱号。因為有了較高的出身，加上他本人的豁達與寬厚、才幹出衆，因此他威望很高。他的妻子窦氏也是隋朝貴族出身，作為一名難得的賢内助，窦氏對李淵的作用不可忽視。

　　窦氏的聰明超出了一般人。隋炀帝看到李淵的臉上皺紋多，便戲稱李淵是“阿婆”。李淵回了家很不高興，窦氏問清原因，馬上賀喜道：“這是吉兆啊，你繼承的是唐國公，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏指的是李淵将來要做皇帝，取代隋炀帝。

　　窦氏在政治方面對李淵的幫助是非常大的。李淵原來有不少駿馬，窦氏就勸他獻給愛馬的隋炀帝：“皇上喜歡鷹和馬，您是知道的，現在應該把駿馬獻給皇上，不該自己留着，招人閑言誣陷。”李淵開始還舍不得他的駿馬，後來真的被隋炀帝責問。窦氏在45歲時去世，李淵這才細細琢磨亡妻的話，覺得很有道理，于是就經常給隋炀帝送駿馬鷹犬，隋炀帝果然異常高興，很快升李淵為将軍。李淵流着淚對兒子們說：“我如果早點聽你們母親的話，早就做上這種官了。”

　　李淵原來做過刺史，在隋炀帝即位之初做了荥陽（今河南荥陽）、樓煩（今山西靜樂縣）兩個郡的太守，後來任殿内少監、衛尉少卿。公元613年（大業九年），隋炀帝征伐高麗時，李淵在懷遠鎮督運糧草。這時，楊玄感利用民憤舉兵反隋，後來失敗。在這期間，李淵奉命鎮守弘化郡（今甘肅慶陽縣），廣交天下豪傑，遭到隋炀帝的猜疑。在615年調任山西、河東，到達龍門時，遇上了母端兒農民起義，李淵領兵擊敗了起義軍，收編萬餘人，實力大增。第二年，他升為右骁衛将軍，任太原道安撫大使，從此落腳太原，經營後來的起家之地。

　　鎮守太原之初，李淵就表現出過人的軍事謀略。隋炀帝從樓煩巡遊到雁門時，被突厥兵包圍，因為李淵的太原兵才得以解圍。隋炀帝便讓他和馬邑郡守王仁恭一同北擊突厥。但他們的兵馬很少，不足五千。李淵便選出擅長騎射的兩千騎兵，吃住騎射仿效突厥兵，向突厥炫耀武力，等和突厥兵遭遇時李淵便下令攻擊，結果打敗突厥。從此之後，突厥不敢再輕易南下了。

　　617年，李淵正式任太原留守，成為一地最高長官。這裡糧草充足，兵員廣闊，李淵在此紮下根來，開始積蓄力量。

　　李淵為了鞏固太原這塊根據地，北面和突厥交好，消除隐患，南面主要是鎮壓了曆山飛起義軍。李淵通過收編其殘餘，進一步壯大了自己的力量。

　　公元611年（大業七年），各地農民起義不斷，全國共有近二百多支反隋起義軍。後來逐漸形成三支主力，即窦建德領導的河北起義軍，杜伏威領導的江淮起義軍，李密、翟讓的瓦崗軍。

　　在617年，馬邑郡（今山西朔縣）人、鷹揚府校尉劉武周因為和太守王仁恭的侍女私通，怕被發現，便以貪污之名殺死了王仁恭，起兵建立定陽國，自稱天子。

　　李淵就以讨伐劉武周為名，開始招兵。因為這時還是以隋朝官員的名義行事，所以在很短的時間裡便招到近萬人。這遭到太原副留守王威和高君雅的猜疑，他們都是隋炀帝的親信，對李淵頗有戒心。李淵則拉攏、利用他們身邊的親信掌握其動向。等李淵要正式起兵時便設計鋤掉了身邊的兩個隐患。

　　617年（大業十二年）農曆五月十四日的夜裡，李淵命李世民在晉陽（即太原）宮城外埋下伏兵。第二天早晨，李淵和王威、高君雅議事。劉文靜領開陽府（太原十八府之一）的司馬劉政會到庭中，說有密狀給李淵。李淵便讓他交上來，但劉會政卻不交，說要告的是副留守，隻有李淵才能看。李淵假裝吃驚地說：“怎麼會有這種事？”李淵看後便對大家說：“王威、高君雅要勾結突厥入侵。”于是命人逮捕了他們二人。第二天，恰好有突厥幾萬人圍攻太原，這更使人相信了。李淵趁機将二人殺掉。

　　除了内患，李淵又智退突厥兵，然後與突厥和好，消除了北方的威脅。

　　殺掉王威和高君雅之後，李淵便和将士緊密防守，對付突厥。他命裴寂和劉文靜堅守城門，同時又讓大門洞開。城牆上不豎旗幟，守城士兵不許張望、喧嘩，這使突厥不明底細，不敢入城。李淵又在夜裡派兵出城，早晨改道進城，使突厥誤以為是援兵到達。最後突厥隻好退兵走了。李淵的軍事智謀由此可見一斑。

　　突厥兵雖然退去了，但難保不再來。為了從根本上解決問題，李淵給突厥寫了書信：“若能從我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”信中為了穩住突厥，李淵委曲求全地用了臣下的語氣，這樣做也是為了給南下用兵掃除後顧之憂。事實證明，李淵的策略收到了預期的效果。

　　617年（大業十三年）農曆七月，李淵率軍三萬誓師，正式起兵。在發布的檄文裡斥責隋炀帝聽信讒言，殺害忠良，窮兵黩武，緻使民怨沸騰，“豺狼充于道路”，因此，李淵要廢掉昏君隋炀帝，尊為太上皇，然後擁立代王楊侑為帝。其實，這僅僅是李淵的一種号召天下的策略。

　　這時，李淵剛從太原起兵，瓦崗軍首領李密便寫信給李淵，想和他結盟共圖大計，實際上是想讓李淵尊他為盟主。李淵收到信後，非常高興，他當時正需要有人為他阻擋中原還沒有被消滅的隋朝軍隊，使他免去後顧之憂，集中兵力拿下長安。于是李淵給李密回信，對李密極力吹捧，說自己沒有取代隋朝之意，這就是李淵自己所說的“卑辭推獎以驕其志”的計策，先麻痹李密，讓他阻擋中原的隋軍西進。

　　李密受到李淵的回信也是非常高興，于是專心于對付東面的隋軍。一東一西，兩個李姓人開始了較量，但李密最後還是稍遜一籌，敗在李淵手下，還丢了性命。

　　在618年，瓦崗軍和洛陽的隋軍作戰失利，李密想東山再起，卻遭到了部将們的反對，他隻好到長安投靠李淵。李淵熱烈歡迎他，當成貴賓對待，常稱李密為弟，還将表妹嫁給他。但後來李密又嫌棄官小，對李淵說想回山東收服部下，幫李淵拿下洛陽。

　　李淵表面上答應了他的要求，暗地裡卻派長史張寶德監視，等李密離開長安要出關時李淵卻下令讓他留一半兵在華州（今陝西華縣）。這時，和李密同行的張寶德向李淵告密說李密要叛亂，實際是張寶德怕李密跑掉自己擔不起責任。李淵便命李密一人入朝。李密感到大禍臨頭，便起兵想闖出關去，結果被圍殲。在和李密的鬥争中，李淵充分利用了李密驕傲自大的缺陷，在開始吹捧李密，等長安拿下後，李密投靠他時又設計除掉了這個隐患。

　　李淵在太原起兵之後，便以進軍關中拿下長安為最終目标。西進的第一個障礙便是西河郡（今山西汾陽縣）。李建成和李世民兄弟倆僅用了九天便得勝而歸，使得李淵喜出望外。

　　然後，李淵建立了自己的基本的軍事和政權機構：設置大将軍府，自稱大将軍，長子李建成為隴西公、左領軍大都督，統領左三軍；李世民為敦煌公、右領軍大都督，統領右三軍；裴寂和劉文靜為長史司馬。

　　第二戰是決戰霍邑（今山西霍縣）。在霍邑的西北有個賈胡堡，是霍邑的門戶，但守衛霍邑的宋老生卻沒有派兵把守，李淵由此斷定宋老生是個無能之輩。

　　李淵害怕宋老生守城不出，打成持久戰對自己不利。李世民卻認為可以挑戰引他出來決戰。于是李淵讓兩個兒子領幾十名騎兵進城觀察，自己将部隊分成十幾隊，從城東南到西南，擺出一副安營攻城的架勢。宋老生果然中計，以為李淵要攻城，便領兵三萬出戰。李淵領兵假裝後退，讓李建成和李世民領兵搶占了東門和南門，切斷了宋老生的退路。在交戰中李淵又散布宋老生已經戰死的謠言，動搖了隋軍的軍心。隋軍大敗，全軍覆滅。宋老生也在被守軍用繩子往城牆上提時，被李淵的軍頭盧軍谔跳起殺死。李淵順利占領了霍邑。

　　此後，李淵又攻打河東，沒有攻下。李淵聽從了李世民直接入關中的建議，分兵攻長安。等圍攻長安成功建立唐朝之後，又繼續圍困，到620年（唐高祖武德三年）農曆正月才最終占領河東。

　　在招降長安失敗後，李淵下令攻城，占領之後又下令禁止擄掠百姓，受到百姓們夾道歡迎。在617年（隋大業十三年）的農曆十一月，李淵擁立隋代王楊侑為帝，即隋恭帝，改元義甯，尊在江都（今江蘇揚州）的隋炀帝為太上皇，李淵為大丞相，封唐王，以武德殿為丞相府（所以後來李淵便以“武德”為自己在位時的年号），李世民為秦王。這實際是在為以後稱帝搞一個過渡。

　　到618年（大業十四年）農曆五月，隋炀帝的右屯衛将軍宇文化及在江都兵變，勒死了隋炀帝，然後立秦王楊浩為帝，自己做大丞相，随後領兵十萬北上，但被李密打敗。宇文化及敗走魏縣（今河北大名東），毒死楊浩，自己稱帝，建立鄭國。第二年，過了皇帝瘾的宇文化及在聊城被窦建德殺死。

　　隋炀帝一死，李淵便甩開了隋恭帝，在618年（武德元年）逼楊侑禅位，稱帝建立唐朝，改年号為武德，定都長安。