即使男子拚命耕种，也生产不及军役所需的食粮；女子日以继夜纺织，也无法满足军用帐幕所需。文學馆百姓疲惫，孤儿寡妇及老弱病残者无法生活，倒在道路两旁死去的人，屡见不鲜。直到蒙恬死后，在河套以南戍边的劳役因陈胜起义，关东大乱而军心不稳，很快散去，从而迫使秦帝国放弃河套以南之地。
现存史料提及有关秦国南征百越的历史，可说是相当简略。对於秦军南征百越的经过，军事部署、作战环境以及秦军面对的军事困难，《史记》的记载甚至可以用一鳞半爪来形容，但可以肯定南征百越的时间，实际上远比北伐匈奴要早。
根据汉文帝元年（公元前179年）南越王赵佗所述，他已经在岭南地区生活了49年。由於《史记》记载赵佗籍贯真定，并非岭南当地人，故此可以参考他在岭南生活的时间，从而推算出秦始皇何时开始南征百越。
自文帝元年往上推朔49年，为秦王政二十年（公元前227年），正值赵国被消灭的次年，可见在赵国灭亡后不久，赵佗随即因为赵人的身份而被徵召入伍，成为征越大军的其中一名士兵。因此可以肯定秦始皇在消灭六国的同时，便开始进行征服五岭以南的军事行动，而且更持续了十多年之久。
岭南自古属於瘴疠之地，亦称百越，意指当地生活着众多部落。
汉初文学家贾谊自被贬为长沙王太傅后，亦听闻长沙气候潮湿多雨，以为自己会早死。汉人畏长沙如此，比长沙更南的岭南，其环境之恶劣可想而知。
即使是驰骋疆场半生。未尝言苦的伏波将军马援，自受命讨伐在交址地区发动叛乱的徵氏姐妹以来，在平定叛乱后亦自言后悔未有听从弟弟少游的话，做个平民百姓，反而从军平越。
当时汉朝已统治岭南地区达百余年，土地半垦，道路粗通，郡、县、乡、里四级政权已建立，已有不少越人汉化。其自然环境和人文环境已有巨大变化。
马援在提及征越之战时，仍犹有余悸，恐怕客死异乡，可以想像到秦朝时期，岭南地区的自然及人文环境。较二百年后的马援时代恶劣十倍，而现存的史料均指，秦始皇对号称瘴疠之地的岭南采取军事行动的最大目的，是看中当地出产的犀角、象牙、翡翠及珠玑等物，以及扬威海外。
约公元前227年（秦王政二十年），秦始皇下令使尉屠睢以南郡为后勤重地，在当地徵发吏卒、新黔首、甲兵及各种军输物资等所谓楼船之士。沿湘江水道为主要补给线，深入百越之地。南征秦军一路势如破竹，越人纷纷逃入深山密林，逃避秦人的统治。
秦征百越之前。由於百越地区的部落们已经矛盾重重，甚至多数相互攻击，很难拧成一股绳抵御秦军的攻势，但问题是百越地区部族众多。尽管各自为战，但越人逃入深山丛林的举措。令秦军难以彻底消灭其有生力量，加上秦军水土不服，当地瘴疠横行，致使军中大疫，非战斗减员情况日益严重，战事陷入长期化，正如《淮南子》记载的三年不解甲弛弩。
在战事中期，秦军击杀了当地最大部落的首领，西瓯国首领译吁宋，但越人并未屈服，反而推举桀骏为新的首领，这个新推举的首领在一次夜袭中大破秦人，并击杀征越秦军最高统帅屠睢。
秦灭六国，百战百胜，但在百越地区的征战居然令秦军伏尸流血数十万（《淮南子人间训》语），甚至连主帅也被击毙。
秦始皇大怒，为了迅速结束战争，惟有下令对百越增兵，而楚国之亡又让秦军兵力得到释放，给了秦始皇增兵的底气，乃发卒五十万，分为五军：一军塞镡城（今湖南靖县境）之岭，一军守九嶷（今湖南宁远南）之塞，一军处番禺（今广东广州）之都，一军守南野（今江西南康境），一军结余干（今江西余干境）之水。五路并进，企图一举攻下百越全境。
不过兵力的增加，再加上越人反抗，利用熟悉地形的优势，不断袭扰秦军勉强维持的补给线，令秦军几乎陷於崩溃，因此秦始皇下令使监禄（即史禄）负责转运粮饷。
为了支持长期战争的物资消耗，史禄决定派遣士兵，开凿连接湘江与漓江之间的运河，后世称为灵渠，使中原和五岭以北地区之兵员和粮草，能通过水运进入百越地区。
由於开凿灵渠属於庞大工程，按当时技术条件，至少也得三至五年时间才能完成，故此战事陷入僵持。
灵渠的建成只是为战争提供较好的后勤保障，并不能保证最后的胜利。秦征南越统帅尉屠睢战死后，继任统帅尉任嚣，起初亦无良策对付越人之丛林战，最后才想出了军队屯垦和以谪徙民，与越杂处之持久战和移民同化的策略。
屯垦和移民战术是控制百越地区最有效的方法，但见效慢，至少须五六年时间才能初见成效。由於当时秦始皇已消灭六国，故有充分条件迁移关东六国的新黔首（即所谓中县之民）往百越地区移民戍边。
对於这些新黔首，秦始皇及秦国官吏根本不把他们当人看，把他们留在百越地区，与越人杂居，对秦始皇说有双重好处：一是消灭了六国乱民或惰民；二是稳定了百越地区。
公元前214年（秦始皇三十三年），自下诏徵发尝逋亡人、赘婿及贾人等往百越地区后，秦始皇认为岭南粗定，故在当地设置桂林、南海及象郡三郡。次年始皇又下令贬谪执法不公的狱吏戌守