有420,000台服务器,每天增加30PB的新存储。传统的块存储文件存储无法满足字节跳动的需求,对象存储的分布式存储结构可以缓解字节跳动的压力,因为ZB级存储规划的重点是如何降低存储成本。如果电脑的存储空间不够,再加个硬盘,头条的存储服务器也会用同样的方法扩容。

每天产生这么多的视频,头条的存储服务器得多大空间?会不会有存储极限?

每天产生这么多的视频,头条的存储服务器得多大空间会不会有存储极限

电脑的存储空间不够就加硬盘呗,头条的存储服务器也是一样的方式扩容。字节跳动在2020年春季招聘广告中披露拥有42万 台服务器,每天新增存储30PB。PB是个什么概念?计算机的存储单位一般有BKBMBGBTBPBEBZBYBBB,它们之间的换算关系如下1KB=1024B1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB后面的以此类推。

字节跳动基础架构部门各技术团队曾经在2020年初发文介绍过字节跳动的特色HDFS。从集群规模和数据量来说,字节跳动的HDFS平台已经成长为总数几万台服务器的大平台,支持了EB级别的数据量。HDFS是业界使用最广泛的开源分布式文件系统。原理和架构和谷歌的GFS基本一致。字节跳动已经应用HDFS非常长的时间了,随着抖音今日头条西瓜视频火山小视频等业务的快速扩张,原来的HDFS的集群从几百台,迅速突破千台和万台的规模。

可想而知字节跳动的存储压力有多大,可能正在奔着ZB级发展。传统的块存储文件存储肯定无法满足字节跳动的需求,分布式存储结构的对象存储才能缓解字节跳动的压力,因为ZB级存储规划的重点在于如何降低存储成本。这么多的服务器集群应该放在哪里?服务器集群自然是要放在大型的数据中心。数据中心可以理解为一个超大的场所,里面塞满了机柜,而机柜里面塞满了服务器和交换机,服务器里面又塞满了硬盘。

据数据显示,2017年年初的时候字节跳动只有23万台服务器,2018年服务器数量猛增到17万台,2020年就超过了42万台。早期的时候字节跳动采用的数据中心租赁的模式,但到了最后不得不自建数据中心,而且还要速度快,仅用了7个月的时间,就在张家口市怀来县建立了第一个属于字节跳动自己的数据中心。字节跳动从2018年9月在怀来建立数据中心以来,在怀来上海南通清远深圳等地都有数据中心增量需求以满足业务爆炸式增长。

目前字节跳动有秦淮数据和中联数据这两个主要的IDC供应商。其中秦淮数据供应了字节跳动58%的IDC机柜数量。秦淮数据的成长依赖字节跳动,2018-2020年H1,秦淮数据的营收分别为9848.4万元8.53亿元8.1亿元,2019年总营收同比增长766%,其中2019年和今年的上半年,字节跳动给秦淮数据分别贡献了68.2%和81.6%的营收收入。

字节跳动简直是给秦淮数据涡轮增压,大树下乘凉,秦淮数据中心也要上市了。内容是字节跳动的基础。根据投资人和内部消息,字节跳动2019的营收定在1040亿-1400亿人民币,超过UberSnapchat和Twitter的总和,广告收入也超过腾讯,仅次于阿里巴巴。在今日头条出品的众多app中,今日头条和Tik Tok分享了绝大部分收入。两者都是基于内容的,推荐用户感兴趣的内容,而这些内容都是用户自己制作的,无论是短文本视频还是视频的形式。


文章TAG:联想存储服务器怎么样  服务器  存储  头条  联想  空间  
下一篇