李渊率领从杨俊麾下借来的三万兵马自东都北上救援并州，与此同时，屯兵于咸阳备胡的太子杨勇得到禀报：突厥主力突然调头向西开拔了。
按照隋朝在西北地区的军力布防，以太子杨勇为首，新任右领军大将军宇文忻辅佐，统掌西北防务，关中一带，主要以驻守于弘化的右仆射虞庆则率领五万兵马据防；而陇右一带，则以左武候大将军窦荣定率领三万府军，以及经恩赦自愿从军的五六万流人组成的一支将近十万人的兵马对阵突厥五可汗中实力仅次于沙钵略的阿波可汗所部。
只用了短短十几天的功夫，沙钵略主力便已突进了渭水北岸，为何于一夜之间弃隔岸相望之咸阳、长安于不顾，径自调头向西开拔了呢？
杨勇在咸阳城中闻报后，唯恐其中有诈，接连派出多路斥候前去打探消息。三天后，有斥候来报：因窦荣定屡破阿波可汗，长孙晟说服阿波可汗向长安派出使节，欲与隋朝讲和，沙钵略闻讯后勃然大怒，当即会同达头可汗率兵西进讨伐阿波可汗。
斥候返回咸阳向杨勇禀报打探来的消息时，宇文忻恰也在座，闻听此讯，宇文忻喜上眉稍，当即请求杨勇传命虞庆则部从后掩杀，大败突厥。
杨勇得到突厥退兵的确切消息，才松下一口气来，连连向宇文忻摆手道：“如今江淮二十万大军尚未尽返关中，敌我双方兵力对比，我方仍处于劣势，万不可轻举妄动，招惹祸端。”
宇文忻在家赋闲近一年之久，此番复出协助杨勇掌军，急于建立军功，争取杨坚父子的信任，以便趁势攫取兵权，为日后的反隋复周创造条件，遂不顾杨勇的反对，执意要亲自率军进行反攻。
杨勇因头一回统领三军，并无实际的带军作战经验，兼之宇文忻在前朝军中威望素著，向以谋略见长，禁不住他再三坚持，遂交给他三千人马，命他率军渡过渭水，前去收复失地。
宇文忻虽然从杨勇手中只讨得了三千人马，并且杨勇只命他率军收复失地，没有要他趁突厥撤兵之机实施反攻，但一朝兵权到手，宇文忻便打起了自己的主意。
他在率军渡过渭水，先后收复了之前被突厥攻占的几座空城之后，并没有向西追击西进的突厥主力，也没有调头向南继续收复失地，和驻守弘化的虞庆则所部会合，而是径直北上，带领着三千人马向云州进发了。
云州城当时已属于突厥境内，是连接东西突厥（开皇二年时，突厥尚未正式分化成东、西突厥，此处仅指地理方位）的重要城池。宇文忻打算趁突厥主力西进讨伐阿波之机，率军一举攻下云州城，以取得此番对突厥反攻的首胜，为日后窃取军权奠定基础。
沙钵略也并非庸碌之辈，在亲率主力大军西征阿波的同时，自然在云州留下了重兵驻守。
宇文忻麾下只有三千兵马，单凭这点儿兵力，要想通过强攻拿下云州城，势比登天还难。于是，宇文忻巧施妙计，就近从当地百姓当中找来几十位年轻的女子，命手下军士乔装改扮成这些女子的家人，带着这些女子每天在云州城外往返行走，装做成难民模样，以吸引云州城上突厥守军的注意。