不过，第六师团的战斗力还是毋庸置疑的，在暂编旅的大多数碉堡被摧毁后，日军的进攻开始变的顺利起来。
下午一点左右，集宁城外围阵地宣告失守，南面的鬼子已经几度冲入城区，和暂编独立第一旅的战士们进行了数次惨烈的白刃战。现在中日双方在集宁这个小城一共投入了近六万部队，集宁城士兵的密度之高远远超出了其他几个战场。
幸好集宁城并不大，为鬼子提供的战略进攻空间并不大，能和暂编旅的战士们正面接触打巷战的鬼子更是不多。杨瑞华把所有的轻重伤员都转移到了虎山高地上的地下防空洞，又将两个伤亡较小的步兵团全部调到老虎山上，因为那里是整个暂编旅以及三个地方保安团最后的依靠了，那里实在是丢不得。
惨烈的巷战一直进行到了下午四点，鬼子已经将集宁城区的二分之一占领了，暂编旅被围困在城区的正中央。不过鬼子的好运也到此结束了，在内城暂编旅的战士们也修建了许多内城防线和街道碉堡，在这里日军的野战重炮和航空兵都帮不上忙，全部靠步兵向前推进，除了迫击炮外，其它重武器都使用不上。日军的进攻开始变得艰难起来，同时杨瑞华也给暂编旅以及几个地方保安团下达了死命令，一定要坚持住，不许后退一步，士兵退则排长死、排长退则连长被枪毙，如果旅长逃跑那么他这个最高指挥官就独自上战场。
下午四点半，日军进攻的势头终于被遏制住了，日军大规模的集团冲锋也停止了，双方隔着几条街道对峙着，除了迫击炮不时呼啸而过，整个战场开始慢慢安静了下来。