再一个没有解决的，则是“减丁”背后的“流民问题”。
第三张表格表明，在以上各省中直隶、陕西二省丁银减少数额均达到1.1万多两以上，减幅较大。陕西人丁减少竟达10万以上。这主要是由于实施“摊丁入亩”政策后，人民负担没有减轻，反而有所增加，逃亡外地躲避赋税的情况愈演愈烈。雍正无法维持康熙五十年固定数额，只好减少数额，试图延缓人民逃亡的趋势。人丁的减少表明了另一个问题：实施“摊丁入亩”政策后农民逃亡的问题仍未得到解决。
雍正时期前承康熙，后启乾隆，是康乾盛世的过渡阶段。这一阶段政治清明，社会较为稳定，经济相对发达，大规模的自然灾害并不频繁，按照常理推测，人口必然处于增长的态势。因而此时人丁的减少无疑是在重税之下产生的。据《清朝通典》载“(雍正六年)，川陕总督奏：湖广、广东、广西等省民人挈眷入川逃荒者……。上谕，去岁湖广、广东并非甚歉之岁，江西广西并未题成灾，何远赴四川者如此之众？此皆本省大小官吏平日全无抚绥，以致百姓失所……”这则材料清楚地表明，上述四省人民流入四川并非灾荒之故，而是迫于重赋而背井离乡。
雍正时期的流民问题发展到乾隆时，其规模和范围日渐扩大。据《清会典事例》，“(乾隆五年)，议奏寄居奉天府流民设法行遣，陆续令回原籍”；“(乾隆八年)奏准山西陕西边外蒙古地方，种地民人甚多”；“(乾隆十年)题准粤省在台湾人民，情愿挈眷者，止许取妻子”；“(乾隆十二年)题准，挈眷赴台湾完聚者，地方官取具，邻右保结，将般取祖父母、父母、妻室子女”。而据《清朝通典》，“(乾隆二十七年)定内地流民潜入宁古塔之禁。其现在查出宁古塔种地流民，于吉林乌拉伯部都纳等处安插，编入里甲”，“(乾隆二十八年)，定江西、安徽、浙江等省棚民稽查之例。凡棚民有室家者，准其隶籍编入，其单身赁垦之人，令于原籍州县颁给印票，及认识亲族保领方许编入保甲”。
由此证明，乾隆年间大批流民涌向东北或东南沿海，他们的目的地越来越趋向原本自然环境较差的地区，如宁古塔原为清政府流放犯人的地方。这表明，清统治者希望通过“摊丁入亩”政策减轻赋役负担、安辑人民来固定税收的方法并没有取得理想的效果，他们无法控制赋税征收从而稳定社会。
可见，“摊丁入亩”政策在某种程度上并未减轻人民负担，相反，它促使大批农民逃往外地，流民问题越来越严重。
另外，“摊丁入亩”也没有解决因经济发展而出现的商民流动问题。据《清文献通考》，“(乾隆二十二年)，……定保甲之法，凡客民在内地开张贸易或置有产业者，与土著一类顺编，其往来商贾，踪迹无定，责令客长查察。……矿厂丁户，责令厂员督率厂商课长及峒长炉头等，编查各处煤窑，责令雇主将佣工人等，册报地方查核……”“摊丁入亩”政策同样没有处理好工商行业的发展的问题。
正是因为当时看《雍正王朝》时对这个问题的深究，李曜才会知道，实施“摊丁入亩”政策后，人民的负担没有减轻反而加重，这足以令人窥探到清代赋役体系微露的衰亡征兆。就“摊丁入亩”政策而言，其主要目的在于帮助统治者将有一定资产的中间民户阶层通过土地固定下来保证赋税征收。但上层富户仍然通过种种渠道逍遥于制度之外，大批依靠租佃方式谋生的贫民始终都是整个剥削的主要承担者。这也表明实际上“摊丁入亩”政策改变的只是赋役制度的形式，它没有也不可能从根本上改变剥削的基础。
对于这个问题，李曜觉得说复杂也复杂，说简单，其实也简单。归根结底只有两个字：特权！
不能解决特权问题，底层民众永远享受不到真正的实惠，公平的实惠。
因此，他才会提出“上至圣人，下至农商，均不免除”。但不免除只是原则，具体的实施，必然会有这样那样的困难，那些不甘心被“割肉”既得利益者，必然会不断的制造麻烦，这就是李曜必须提前考虑到，并且预留解决办法的事。实际上，一体收税，清朝也不是没有干过，这也算是一个可以作为他参考的例子。
那时节，清人入关之初，清廷为了巩固封建统治，依照官员的品级，优待或免除该户官员一定量的丁役，以使他们成为清朝统治的忠实拥护者。此外，为了表示对读书人的尊崇，清政府也免除了士人本身的差徭和一切杂办。
在这种不成文的制度下，特权阶级与民众的对立就成了社会的主要矛盾之一。官绅户族自己不出役夫、不服徭役，同时还把部分税赋转移到贫民百姓身上，以耗羡为例，地方官经常不是按田赋向地方绅衿征收耗羡，而是把耗羡银转嫁到贫民身上，让贫民承担起本应由绅衿们承