大业十三年（617年）农历七月，李渊率军三万誓师，以“废昏立明，拥立代王，匡复隋室”的名义正式起兵直趋关中。在发布的檄文里他斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾。
誓师后，李渊与长子建成、次子世民挥师南下，先后破守霍邑（今山西霍县）的隋鹰牙郎将宋老生、渡黄河，对守河东的隋将屈突通围而不攻。迅速向西南挺进。当时，隋炀帝远在江都（今江苏扬州），关内隋军力量薄弱；中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父子进军神速，大业十三年（617年）农历十一月初九日攻入长安。
十一月十三日，李渊宣布遥尊隋炀帝为太上皇，拥立其孙代王杨侑为帝，改元义宁，是为隋恭帝。恭帝进封李渊为唐王、大丞相、尚书令，以李建成为唐王世子；李世民为京兆尹，改封秦国公；封李元吉为齐国公。李氏父子完全控制了关中局势。
义宁二年（618年），李世民徙封赵国公。同年农历三月，隋炀帝在江都被禁军将领兵变杀死。同年农历五月，隋恭帝被迫禅位于李渊，李渊即皇帝位于长安，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。
隋文帝独孤皇后是李渊的姨母，李渊和杨广应该属于表兄弟关系。
