与此同时,隋末农民起义的风暴已逐渐席卷全国大部分地区。大业十三年(617年)七月,一直在等待时机的李渊、李世民父子在晋阳(今山西太原)率军三万誓师,正式起兵。
在李渊、李世民父子起兵时,突厥军队趁机袭击晋阳,大肆掠夺一番而去。突厥的袭击,使李渊、李世民父子意识到突厥不但是一支可怕的力量,而且也是他们争夺天下的后顾之忧,如果不与突厥搞好关系,自己刚刚形成的势力就会遭到灭顶之灾。为了消除突厥的威胁,李渊、李世民父子与心腹刘文静商议,由唐公李渊亲自给突厥国始毕可汗写了一封卑辞修好,并许以“称臣纳贡”的书信,又带上一份厚礼,派刘文静前往突厥谈判。