隋朝建立时唐王李渊正在自己的封地，即山西太原一带守边。防备北方少数民族的入侵。因为在隋朝建立前，李渊就是割据一方的诸候。隋朝建立后，归顺了隋朝。成了隋朝实力很强的割据势力。如果没有隋炀帝的昏庸无道，可能也不会有唐朝的建立。
北周大定元年(公元581年)，杨坚受北周静帝禅让，建立隋朝。
杨坚的皇后独孤伽罗是李渊母亲的妹妹。就因为这个缘故，李渊得到了杨坚的器重，在十五岁的年纪，懵懵懂懂地成为了杨坚的千牛备身(皇帝的禁卫武官)。
李渊年纪稍长，又被杨坚先后任命为谯州刺史、陇州刺史、和岐州刺史。
杨广即位之初，李渊又先后做了荥阳(今河南荥阳)、楼烦(今山西静乐县)两个郡的太守，后来还被任命为殿内少监、卫尉少卿。
隋大业十一年(615年)，李渊拜山西河东慰抚大使，随后，又拜太原留守。
