贞观八年（公元634年）刚过完年，就传来颉利死亡的消息。李世民追赠他为归义王，谥曰“荒”，又命突厥人按照突厥风俗将尸体焚烧后下葬。
立政殿内，烛火摇曳。李世民读着墙上那些各地官员的名字，突然问旁边正在看书的无垢，“哎，你说说，我这里摆的是不是一整盘的棋？”
无垢抬头看了他一眼，问道：“陛下是说墙上画的？”
“是，你明白我的意思的。”
“在陛下看起来是一整盘的棋，依我看呀，只是个残缺的棋。”
“哦，何以见得？”
“就算陛下的心里能够装得下天下所有的大官小官、大事小事，也不见得就齐全了。”
“你是说我心里有漏掉的人和事？”
“我的意思是，实际的天下是鲜活的。比方说，这几年山东、河南等地总是闹洪灾，每次遇到灾害，陛下总是下令当地官吏赈灾，那么在陛下的棋盘上，那些官吏都是在忙着赈灾。可是，要是当中某个官吏认真执行赈灾责任呢？”
李世民恍然，“唔，说的是。墙上的棋是死的，天下的棋是活的。看来，还需要某种东西督察他们，让他们各自发挥名副其实的作用。”
第二天，李世民把魏征召到两仪殿，对他说：“朕想设立一种职能，定期巡察各地的官员，根据其表现，直接决定贬黜或者提升，卿看看用什么样的人堪当此任？又以什么名分好？”
“臣以为，既是代陛下行贬黜与升迁之事，首先必须要有绝对的权威，不能设想一个五品的官员去处理一个三品、四品的官员，所以应当是由尚书，至少侍郎以上品阶的官员行使这个责任；其次，既是替代圣威，那么就是张陛下耳目于天下，当选公正严明的人，不得徇私情。”魏征回答道。
“卿所言极是，派出巡察的人应该位高权重。朕考虑可以朝廷特使的名义，代表朕直接行使贬黜或升迁之责。对于特使的名称，卿有什么考虑？”
魏征略一思忖，挺直了身子说道：“降官曰黜，升官曰陟，这在《尚书?舜典》里有个说法，叫做‘三载考绩，三考黜陟幽月’。这个特使可以叫做‘黜陟使’，不知陛下以为如何？”
李世民听了，频频点头，“‘三载考绩，三考黜陟幽月’。嗯，有味道，这个名称好，就叫这个名称吧。爱卿真是有学问，说出来的话有根有据。”
“陛下谬赞了。”
“此事朕还要与房玄龄、李靖等商议一下，并在朝廷议事的时候，正式提出来。公可以考虑一下什么样的人堪当此任。”
“好的，陛下。”魏征说完，退了出去。
这一天的朝堂上，李世民正式提出设立黜陟使的问题，要大家讨论一下。李世民说道：“朕考虑再三，又与魏征、房玄龄、李靖等人商议过了，朕想设立一种特使，叫做黜陟使，定期巡察全国，如同朕亲临地方。其职责有三：第一，张朕的耳目于天下，及时了解百姓的生活忧乐，拜访年高长寿的长者，赈济穷乏的人；第二，不必凡事都要辗转汇集到朝廷，可以当下得到勘察、处理；第三，察地方长吏的贤与不肖，不肖的及时贬黜，贤良者得到提升。你们有意见没有？”
众臣见皇帝主意已定，都没有人反对。剩下来的事情是派什么样的人充任黜陟使。
李世民说：“既然大家没有异议，这件事就这么定了。大家想一想什么样的人能胜任这个职务。魏征，说说你的考虑吧。”
魏征站了出来，说道：“臣以为，黜陟使是代表陛下行使贬黜或提升地方官员的特使，那么臣以为可在现任的三品以上的官员中抽调，由陛下授予特殊的权力，定期巡察。朝中官员，除了左仆射要负责辅政，其他都可以抽调。”
李世民说：“好。朝廷高官都要走到地方上去，了解实情，不能等到别人给你们汇报情况，那个不可靠的。朕也想经常能够到各地走走，亲身了解百姓生活得好不好，考察地方官员怎么治理的，也想领略风土人情。可是朕要是一挪动，就会惊扰百姓，给百姓带来莫大的负担。所以啊，朕只能找个简便的方法，委派你们去了。”
经过商议，李世民任李靖、萧瑀等十三人巡行天下诸道，要求“察长吏贤与不肖，问民间疾苦，敬礼老年，赈济贫乏，起用久滞之士，俾使臣所至，如朕亲临。”