五年后，武德九年六月初四（公元626年7月2日）由当时的天策上将、唐高祖李渊的次子秦王李世民在唐王朝的首都长安城（今陕西省西安市）大内皇宫的北宫门——玄武门附近发动的一次流血政变。

在起兵反隋的过程中，李氏兄弟二人配合仍算默契，直到唐朝建立。

高祖即位后，李建成为太子，常驻宫内处理事务，为文官集团代表。李世民为秦王，继续率领武将集团带兵出征，功劳也最大。

太子自知战功与威信皆不及世民，心有忌惮，就和弟弟齐王李元吉联合，一起排挤和陷害李世民；同时李世民集团亦不服太子，双方持续明争暗斗。

经过长时期的争斗，李建成终于按耐不住，欲除李世民而后快……

武德九年六月初四庚申日（公元626年7月2日），李世民率领长孙无忌、尉迟恭、侯君集、张公谨、刘师立、公孙武达、独孤彦云、杜君绰、郑仁泰、李孟尝（一说为长孙无忌、尉迟恭、房玄龄、杜如晦、宇文士及、高士廉、侯君集、程知节、秦琼、段志玄、屈突通、张士贵）等人入朝，并在玄武门埋下伏兵。　李建成、李元吉二人不知底细，也一起入朝，骑马奔向玄武门。此时，高祖已经将裴寂、萧瑀、陈叔达、封德彝、裴矩等人召集前来，准备查验这件事情了。

李建成、李元吉来到临湖殿，察觉到了变化，立即掉转马头，准备向东返回东宫和齐王府。李世民跟在后面呼唤他们，李元吉心虚，先张弓搭箭射向李世民，但由于心急，一连两三次都没有将弓拉满，箭没有射中。李世民却搭弓射向李建成，将他射死了。尉迟恭带领骑兵七十人相继赶到，他身边的将士用箭射中了李元吉，李元吉跌下马来。可就在此时，李世民的坐骑受到了惊吓，带着李世民奔入玄武门旁边的树林，李世民又被林中的树枝挂住，从马上摔下，倒在地上，一时爬不起来。李元吉迅速赶到，夺过弓来，准备勒死李世民，就在这时尉迟恭跃马奔来大声喝住了他。李元吉知道不是对手，赶紧放开李世民，想快步跑入武德殿寻求父皇庇护，但尉迟恭快马追上他，放箭将他射死了。

太子李建成的部下、翊卫车骑将军冯立得知建成身死，叹息道：“难道能够在太子生前蒙受恩惠而太子一死便逃避祸难吗！”于是，他与副护军薛万彻、屈直府左车骑谢叔方率领东宫和齐王府的精锐兵马两千人，急驰赶到玄武门，准备为太子和齐王报仇。张公谨膂力过人，他独自关闭了大门，挡住冯立等人，冯立等人无法进入。云麾将军敬君弘掌管着宿卫军，驻扎在玄武门。他挺身而起，准备出战，与他亲近的人阻止他说：“事情未见分晓，姑且慢慢观察事态的发展变化，等到兵力汇集起来，结成阵列再出战，也为时不晚。”敬君弘不听从，便与中郎将吕世衡大声呼喊着向敌阵冲去，结果全部战死。把守玄武门的士兵与薛万彻等人奋力交战，持续了很长时间，薛万彻擂鼓呐喊，准备进攻秦王府，将士们大为恐惧。此时，尉迟恭提着建成和元吉的首级给薛万彻等人看，东宫和齐王府的人马顿失战心，迅速溃散，薛万彻与骑兵数十人则逃入终南山中。冯立杀死敬君弘后，对部下说：“这也可以略微报答太子殿下了。”于是，他丢掉兵器，落荒而逃。　至此，政变以秦王李世民的胜利而告终。

政变发生时高祖正在宫内的海池上划船，李世民让尉迟恭入宫担任警卫。尉迟恭身披铠甲，手握长予，径直来到高祖所在的船上。高祖大惊，问道：“今日作乱的人是谁？爱卿到此做什么？”尉迟恭回答道：“秦王因为太子和齐王作乱，起兵诛杀了他们。秦王殿下担心惊动陛下，故派臣担任警卫。”高祖对裴寂等人说：“不料今天竟然会出现这种事情，你们认为应当怎么办呢？”萧瑀和陈叔达说：“建成与元吉本来就没有参与举义兵反抗隋朝的谋略，又没有为天下立下功劳。他们嫉妒秦王功劳大，威望高，便一起策划奸邪的阴谋。现在，秦王已经声讨并诛杀了他们，秦王功盖宇宙，天下归心，陛下如果能够决定立他为太子，将国家大事委托于他，就不会再生事端了。”高祖说：“好！这正是我素来的心愿啊。”当时，宿卫军和秦王府的兵马与东宫和齐王府的亲信交战还没有停止，尉迟恭请求高祖颁布亲笔敕令，命令各军一律接受秦王的处置，高祖听从了他的建议。天策府司马宇文士及从东上阁门出来宣布敕令，众人便这样安定下来了。高祖又让黄门侍郎裴寂前往东宫开导原李建成麾下的诸将士，将士们便都弃职而散。于是，高祖召世民前来，抚慰他说：“近些日子以来，我几乎产生了投杼的疑惑。”世民跪了下来，伏在高祖的胸前，号啕大哭良久。