隋朝末年，隋场帝穷兵默武骄奢淫意。好大喜功，先是开凿大运河，后来几次兴兵东征，大举侵略朝鲜。全国的青壮男子大多数被抽调修河、当兵。土地无人耕种，苛捐杂税年年增加，人民陷入水深火热之中，天下即将大乱。
当时正在山西马邑作地方官的李靖，对国家形势的严峻形势有着清醒地认识。李靖不希望天下大乱，他来到京城，面见执掌军政大权的越国公杨素，打算说服杨素，拿出办法，稳定政局。交谈之后，李靖深感失望，立即辞去官职。回家深入研究兵书战策。
李靖的舅父韩擒虎，是隋朝的开国名将，对《孙子兵法》很有研究，经常与李靖在一起谈论心得体会。每次畅谈之后，韩擒虎都十分慨叹，称赞李靖的看法。
不久，杨素病死，他的儿子杨玄感举兵造反。接着，全国各地农民纷纷起义，李靖来到太原，帮助唐高祖李渊统一天下。
后来唐太宗李世民即位，李靖由刑部尚书调任兵部尚书。当时西北的少数民族突厥和吐谷浑经常袭扰边境，抢劫牛马，屠杀百姓，成为唐朝的边患。唐太宗平定天下之后，立即任命李靖为行军总管，率兵北征，彻底解除西北边疆的威胁。一次，李靖仅率三千铁骑，出奇制胜，将突厥逐出境外，而后李靖为平定边患，经常统兵在外，大小百余战，立下赫赫战功，升为尚书仆射。
李靖看到天下基本平定，估计以后不会有大规模征战，觉得自己是员武将，在朝廷已经不会有太大作为，决定辞去职务，告老还乡。
一次，唐太宗派李靖到各地察访民情，李靖推辞说：“我年龄有些老了，只怕辜负陛下的信任，还是派别人去更好些。”
李靖回到家把他的想法详细写进了奏章，送给唐太宗。
唐太宗看了李靖的奏章，觉得措辞十分得体，态度非常恳切，内心很感动，立即同意了。第二天，派中书侍郎向李靖传达他的旨意，说：“我看从古至今，作了大官而能知足的人太少了，不论聪明人或庸俗的人差不多都不能自知。有些人本来没什么才能，还留恋权势，不肯辞官，还有人生病，根本不能办事，仍然占据高位。我同意你辞官，不仅成全你的志向，更重要的是想把你树为一代楷模，让人们学习。”
李靖辞官以后，把平生用兵心得写成一部《李卫公兵法》，可惜后来失传了。