当上宰相的李靖并没有忘乎所以，他知道自己出将入相，已经是人臣之极。位高权重，树大招风，已经成了许多同僚心中嫉妒的对象，也是人君防范的对象，这个时候如果不懂得韬光养晦，贪恋权势，很可能重蹈历史上那些功臣兔死狗烹的命运，于是他更加谨小慎微，战战兢兢，如履薄冰，在朝堂之上，很少说话，看着好似一个哑巴。

贞观八年（634年）正月，唐太宗李世民向分派大臣担任全国诸道黜陟大使，不知道谁合适。

李靖在朝堂之上向唐太宗推荐魏征。

李世民说：“征箴规朕失，不可一日离左右。”

于是对李靖说：“要么靖兄你就带头走一趟？”

李靖看李世民既然这样说了，只好答应说：“没问题。”

也是李世民就命令李勣和萧瑀等十三个重臣分行天下，李世民特意安排说：“诸位爱卿，你们这一趟一定要不虚此行，到了地方上，要查明地方官的优劣，老百姓的疾苦，对待年龄大的人要礼遇，对待贫困的老百姓要救济，对待地方上遗漏的人才要大力推荐，你们的所到之处，就像我亲自到过看过一样。”

大家说：“一定不辱使命，让陛下放心。”

李靖在外出差了两个多月，回京后向唐太宗做了详细的汇报。唐太宗对他的工作非常满意，对他进行了慰劳。

七月份，李靖的脚出了毛病，走路受到了影响，于是向唐太宗上书，请求辞去宰相的职务，申请退休。

唐太宗同意他辞去宰相的职务，但是，仍然让他担任特进的职务，各种待遇和担任宰相时一个样，每三两日至门下、中书平章政事。

吐谷浑，亦称吐浑，中国古代西北民族及其所建国名。本为辽东鲜卑慕容部的一支，藏族人民称之为阿柴。是西晋至唐朝时期位于祁连山脉和黄河上游谷地的一个古代国家。

　　唐太宗刚刚登基的时候，吐谷浑可汗伏允曾经遣使入贡，但使者还没有回去，他就迫不及待地到唐朝的鄯州大肆掳掠，李世民派遣使者去责备他，并且征召伏允入朝，他称疾不至，仍为其子尊王求婚。

唐太宗为了感化他，仍然答应了这件事，但是命令其子亲自到长安迎亲，尊王又不至，于是唐朝和他们绝婚。

伏允气不过，于是就又派遣大军掳掠兰、廓二州。

唐朝的使者赵德楷被扣留，唐太宗派遣使者去了十次，但都无功而返。唐太宗还不死心，又亲自召见他们的使者，告诉他们不要和大唐为敌，到时候大唐一旦失去了耐心，发兵征讨，那个时候再后悔也来不及了。到时候身死国灭，又何必呢？

使者回去后，告诉伏允，但他终究觉得唐朝和自己路途遥远，唐军不会到底这么远的地方，所以没有悔改的意思。

唐太宗忍无可忍，当年六月，派遣左骁卫大将军段志玄为西海道行军总管，左骁卫将军樊兴为赤水道行军总管，将边兵及契苾、党项之众进攻吐谷浑。

段志玄率领的唐朝大军很快就击破吐谷浑，唐军追击八百余里，到距离青海湖三十余里时，吐谷浑驱赶着牧马逃走了。

唐太宗诏令段志玄追击到青海海夺取吐谷浑的牧马，段志玄停留不前，被唐太宗罢免其官职。

贞观八年十一月，吐谷浑再次侵犯凉州，唐太宗李世民觉得彻底解决吐谷浑的问题，于是决定派大军征伐。

但对于唐军的主帅，到底应该选择谁，他心里还是特别钟意李靖，以为非李靖莫属，因为只有李靖打仗才让他放心。换了别人，大军出征之日，他就不能睡觉了，那个滋味，谁受得了呢！

但此时李靖以足疾在家修养好几个月了，已经是半退休的状态，况且李靖此年是六十四岁的年龄，在那个时候，已经是白发苍苍的一个老人了，身体不好，年龄也偏大，这个时候，让李靖出征，李世民有些不好开口。

他只好对身边的房玄龄说：“靖能复起为帅乎？”

房玄龄知道李世民心中念念不忘的就是李靖，于是自己悄悄地找到李靖，告诉他李世民的心思。

李靖一听，心里是壮怀激烈，自己虽然是高龄，身体还有病，但是，皇上怎么高看自己，作为臣子，怎么不为君分忧？！作为大将，马革裹尸，战死疆场，本来就是军人的荣耀，于是他慷慨地对自己妻子初尘说：“我明天就去上朝，亲自向皇上请命，不灭吐谷浑，绝不回长安。”

初尘担心他的身体，于是就劝说他：“老爷，你已经是年过花甲的老人了，不能不服老，这大唐名将如云，你不去，皇上难道不会派李勣去？李勣比你年轻二十三岁，他们去才合适！”

李靖说：“李勣跟着我学兵法，还没有完全领会兵法的妙处，虽不会大败，但也不能大胜，还欠几分火候啊，再磨炼几年就好了。最关键的是，他们谁去，皇上都不放心，只有我去，皇上才能睡得着。”

于是，第二天，李靖就去拜见李世民。

李世民一见大喜，对他说：“靖兄，你的身体还好吗？”

李靖说：“皇上，我虽然年龄大了，但是这一次灭亡吐谷浑，还是没有问题的（吾虽老，尚堪一行）。”

唐太宗大喜，十二月，下诏命特进李靖为西海道行军大总管，节度诸军；兵部尚书侯君集为积石道行军总管，任城王李道宗为鄯州道行军总管，仍为靖副；凉州都督李大亮为且沫道行军总管，岷州都督李道彦为赤水道行军总管，利州刺史高甑生为盐泽道行军总管，和归唐的东突厥及契苾何力等军一起讨伐吐谷浑。

吐谷浑闻唐军将至，退走嶂山(今甘肃旧宁夏府)，李道宗率偏师急行军十日，在库山(今青海湖东南)追上吐谷浑部。吐谷浑部凭险殊死作战，李道宗派千余骑逾山袭其后，吐谷浑腹背受敌，大败而逃。伏允可汗烧尽野草，轻兵逃入沙碛，距唐军两千余里。

此时唐军集结于伏俟城（今青海省海南藏族自治州共和县石乃亥乡铁卡加村西南），李靖召集诸将商讨对策。

众将皆以为战马廋弱且无草，不可深入，唯有侯君集与李道宗二将主张进军，二人以为吐谷浑经此大败，元气大伤，已呈土崩瓦解之势，应当穷追猛打，不可予敌有喘息之机；若此时不乘胜追击，等敌军远遁，据险死守之时，就很难再消灭他们了。

李靖听从了二人的意见，下令兵分两路追击吐谷浑。李靖统李大亮、薛万彻、薛万均等将由北道进军，切断对方撤回祁连山的退路；李道宗、侯君集二人由南道进军。

李靖命令薛万彻与诸将各率百余骑先行，突然遭遇数千骑吐谷浑军。薛万彻单骑杀入敌军，无人敢挡。回来对诸将说：“贼易与耳！”

说罢又策马再战，唐军紧随其后，斩首数千级，“人马流血，勇冠三军”。

唐军进至赤水源(今青海兴海东南)，薛万均、薛万彻率轻骑先行，被吐谷浑军围困，二人的战马都被杀死，负枪伤步战，唐军战死十之六七。就在此时，唐将契苾何力率数百骑兵赶到，奋力死战，救出了薛万均和薛万彻。

此战，唐军共俘斩名王数十人，获其杂畜二十万计。唐军经积石山(今青海阿尼玛卿山)、河源(黄河源)迫至且末(今属新疆)，大败吐谷浑军。