隋炀帝驾幸高阳，征召卫玄到其所在的地方，隋炀帝慰劳卫玄说：“卿真是社稷之臣啊！使朕得以没有西顾之忧。”于是下诏说：“近来妖雾充斥，搅动关、河一带。文升率领义师，应机赴敌，在华山黄河一带，奋勇杀敌，打败凶丑。应该下令奖赏，升任他为右光禄大夫。”并赐给卫玄良田、宅第，财物数万，让卫玄返回长安镇守，临行前隋炀帝对卫玄说：“函谷关以西全部委托给你。你安然无恙，国家就安然无恙；你有危险，国家也就危险。你出入必须有兵士护卫，坐卧应该加强防备。如今特意给你一千名士兵，充当侍卫随从。”卫玄和樊子盖一起受赐玉麒麟符节，用以代替铜兽符节。
隋炀帝诏令卫玄安抚关中，关中盗贼蜂起，百姓饥饿至死，卫玄竟然不能赈济抚恤，而官方败坏纷乱，贿赂公行。卫玄认为自己年纪已高，上表乞求告老还乡，隋炀帝派遣内史舍人封德彝驰往京师，告诉卫玄说：“京师是国家的根本，是王业的根基，是宗庙园陵的所在地，借助你这位老帅，卧居在那里镇守。我为国家考虑，不能同意你退休，所以派封德彝前来，口述我的旨意。”卫玄这才作罢。
隋朝末年，隋炀帝统治残暴，民不聊生，爆发大规模农民起义，太原留守李渊起兵反隋。李渊率领义军进入关中，当时卫玄已年老，闻知李渊率军向长安进发，自知不能守御，忧愁恐惧，自称有病，不再参预政事。李渊屡次派使者到长安城下，对卫玄等人宣称自己是尊奉隋朝皇室，并无反叛之意，卫玄等人不作答复，李渊军队攻陷长安，卫玄归居家中，去世时年七十七岁。
喜欢史事讲将2隋唐五代请大家收藏：(m.qbxsw.com)史事讲将2隋唐五代全本小说网更新速度全网最快。