用户在今日头条账号登录了,个性化分发的性能就体现出来了。用户就会“看不停”,沉浸在今日头条的内容矩阵中。
与此同时,很多非朋友网的用户,如果通过搜索平台进入到了今日头条,并成为了今日头条的用户。那么只要他通过金币钱包系统去积攒金币了,为了获得更多的金币,也会去选择注册、登录朋友网和校内网。
联动性就出来了。
就最近半个月的成绩来看,效果很好。
许亮杰叹了口气,“就因为成绩太好,负载也成了问题。”
“啥?”周不器眉梢一挑,“又出技术问题了?”
许亮杰道:“现在,金币钱包系统的活跃用户超过2000万,日活用户在2500万。这个数据可不低啊。以我为这套系统设计的架构来看,高峰的时候,能够承受每小时1亿pv的负载。可根据观测,在晚上7点-8点高峰期的时候,每小时的pv已经超过了6000万。”
周不器松了口气,“我还以为现在就扛不住了呢。”
许亮杰苦笑道:“现在是没问题,可大家对积攒金币的兴趣太高了。如果不解决,一个月内就要出问题。”
周不器不太懂,试探着问:“增加服务器?”
许亮杰道:“增加服务器来提高负载,这个问题比较好解决,我已经在处理了。真正的困难,是这么大规模数据的处理问题。”
沈向阳解释了一句,“是数据库的问题。”
见周大老板不太懂,几个技术大牛就给他解释了这其中的简单原理。
金币钱包系统,会产生大量的数据。每一次的金币采集都要做好记录,每一个pv,可能要创造2-3条数据。
也就意味着,在高峰期,需要有1亿-2亿条数据被数据库存储、使用,并完成同步。
未来只会更多。
当数据量小的时候,类似“ablexxlelike”这样的sql语言,可以很快速的响应并执行。
可是当数据量超级大的时候,这样的语句就完蛋了。
就死机了。
尤其对备受互联网同行诟病的oracle数据库来说,执行超过10亿条数据的指令时,反应速度就会奇慢无比。
可能要处理半个多小时,才能响应。
这黄花菜都凉了。
当用户积攒金币,从2000金币积攒到2100金币,结果半个小时以后才在数据显示中刷新显示出来……用户体验就会严重的降低。
就算许亮杰的团队设计出了好几套分布式算法来优化、改进响应速度,效果依旧不是很满意。
许亮杰道:“一栋地基不扎实的大楼,再怎么通过技术手段修缮,也改不了危房的事实。金币钱包系统要协调多个网站,会诞生大量的数据,必须要底层逻辑上予以解决。”
张一明道:“是啊,朋友网的数据量就够大了。结果这套金币钱包系统,不仅要处理朋友网的数据,还要把今日头条、校内网的数据都包容进去,技术难度太大。这个大中台的构思啊,首先遇到的不是管理问题,而是技术障碍。”
“现在,还只是今日头条、校内网和朋友网。如果以后把更多的产品都放进来,加上helo和微点,加上薇蜜网、糗事百科、秘密网、豆瓣,再加上第三方的优酷、uc、京东……那数据规模将会非常恐怖。”
许亮杰感慨了一番。
要想实现“大中台”的战略,首先就是要解决技术问题,让紫微星拥有能够处理超大数据的能力。
周不器表情比较平淡,技术问题肯定还是要依靠专业人士,“你们的解决方案呢?”
许亮杰道:“两条路一起走。第一,由紫微星研究院牵头,马上启动对开源大数据系统hadoop的研究。”
第二呢?
“胆子要再大一下,放弃oracle,应用上我们自研的飞天分布式数据库!”