武德六年(623年)，颉利可汗连同刘黑闼、苑君璋等骚扰定、匡、原、朔等州，与守将互有胜负。唐高祖派李建成再度屯守北边陲，李世民屯守并州，防备突厥入侵。很久后才撤。不久，突厥攻破代州的一屯，进击渭、豳二州，攻取马邑。不久向唐朝请和，归还马邑。

武德七年(624年)，颉利可汗攻打原、朔二州，进入代地，不胜。又与苑君璋合攻陇州及阴般城，分攻并州，李世民与李元吉屯兵豳州道备战。苑君璋与突厥兵出入原、朔、忻、并州等地，掳掠骚扰，多次被各将驱逐。同年八月，颉利可汗与突厥举国入寇，从原州连营南下，所到之处都极震恐，李世民、李元吉前往讨伐。

当初，关中雨涝，粮运阻绝，李世民等扎营豳州，颉利可汗率领一万余骑兵掩杀过来，列阵五龙坂，派几百骑兵出来挑战，唐军大恐。

李世民带领一百多人马驰往颉利可汗阵前，大声说：“国家没有背负突厥的地方，为什么背约深入我国？我就是秦王，来与颉利可汗单独一决雌雄。假若一定要以兵马相攻，我才一百多人，白白增加战死者，于事无益。”

颉利可汗笑而不答。

李世民又驰到突利可汗处说：“你过去曾与我有盟约，有急难，相互助。今日不念当日的香火之情了吗？能出来与我一决胜负吗？”

突利可汗也不回答。

李世民将渡沟水，颉利可汗见他兵少，又听见他香火之情的话，暗中疑忌突利可汗，于是派使者来说：“秦王别恼，我本不打算交战，只是想与王商议事情而已。”说后退兵。

李世民巧用离间计，突利可汗心向李世民，不愿再战。颉利可汗也失去强力不能战，就派突利可汗和夹毕特勒思摩入朝请和，李渊表示同意。

突利可汗向李世民表示愿结为兄弟。

李渊见到思摩，让人引他上御座。

思摩跪拜辞谢，李渊说：“我见你，就像见到颉利可汗。”思摩才就座。

突厥年年侵扰唐朝边陲，有人劝说唐高祖说：“突厥多次入寇，是因为这里有府库及好女子。如果我们离开长安，突厥的好战之心就会停止。”

李渊信以为真，于是就派中书侍郎宇文士及翻越南山，到樊、邓一带巡察，准备迁都。

众大臣也纷纷赞成迁都，唯独李世民慷慨激昂地说：“夷狄自古以来就是中国的边患，没听说过周、汉因此而迁都。希望陛下能给我几年的时间，我一定将突厥的可汗擒来献给陛下。”

李渊看李世民这样说，心里也感到有些惭愧，儿子说的确实有道理，于是才打消了迁都的念头。

颉利可汗见双方已经言和，又恰好天气多雨，弓箭都松弛毁坏了，也就解围而去。

李渊于是召集群臣商议边境防守的办法，将作大匠于筠提出在五原、灵武黄河边设置水军防守。

中书侍郎温彦博说：“魏国曾筑长堑遏止匈奴，此法现也可用。”

李渊于是下诏派桑显和到边境大道外挖堑，并召江南船工大造战舰。

颉利可汗派遣使者到长安，希望唐朝能开放北楼关便于贸易，李渊同意了突厥的提议。

当初李渊统领天下伊始，撤消了十二军，崇尚文治。至此，因为突厥之患，重新置军操练。

武德八年(625年)，颉利可汗侵略灵州、朔州，与代州都督蔺謩在新城交战，蔺謩兵败。当时李渊派张瑾兵驻石岭，李高迁兵驻大谷，李世民兵驻蒲州道。

起初，唐朝对突厥是称臣的。此时李渊愤怒地说：“以前我因天下未定，厚待突厥为纾患。现他背约，我定要歼灭他，决不姑息。”

于是命有司将给突厥的书信全改为诏或敕。不在俯首称臣。

张瑾还未到达驻地，突厥兵已越过石岭，既而围并州，攻灵州，转而侵扰潞、沁二州。

李渊马上拿出自己的王牌，命令李靖为行军总管，统率一万多江淮兵驻守太谷，与并州总管任瑰等迎击敌人。

李靖率兵出潞州道，行军总管任瑰驻太行。张瑾在大谷迎战兵败，中书侍郎温彦博被突厥生擒；郓州都督张德政战死。

接着突厥攻广武，败于任城王李道宗之手。

突厥欲谷设掳掠绥州后，请和而去。

突厥兵又打败并州几县，进入兰、鄯、彭州等地。唐军有时小胜，但总体上还是不是突厥的对手。

不久，突厥又侵犯原州，折威将军杨屯将之击败。

此次和突厥作战，诸军多失利，任瑰全军覆没，唯有李靖一军得以保全。显示了李靖高超的军事指挥才华，随时随地能够立于不败之地。

不久，李渊又调李靖为灵州道行军总管，成为唐朝专门对付东突厥的大将，为今后彻底消灭东突厥做准备。