2020 年 5 月 8 日，国际数据公司（IDC）最新发布的《中国公有云服务市场（2019 下半年）跟踪》报告显示，2019 下半年中国公有云服务整体市场规模（IaaS/PaaS/SaaS）达到 69.6 亿美元，其中 IaaS 市场增速回落，同比增长 60.9% 。阿里、腾讯、中国电信、华为、AWS 位居 IaaS+PaaS 及 IaaS 市场前五，在IaaS+PaaS 市场总体占据 76.3% 的市场份额，在 IaaS 市场总体占据 77.5% 的市场份额，持续拉大领先优势，中国云计算时长正加速形成头部聚集态势，呈现出“一超多强”的格局[1]。

2019下半年前五大中国公有云IaaS+Paas厂商市场份额占比

        可以预见在未来相当长的一段时间内，随着公有云计算技术的不断成熟和市场的扩大，企业上云将成为常态操作；云计算市场头部企业和尾部企业差距逐渐拉大，小厂商将进一步被压缩已致消亡，云厂商之间的数据迁移也逐渐成为刚需、高频需求。

         国内公有云龙头的阿里云在企业级存储市场布局已久，其中阿里云对象存储OSS凭借多层次防护、跨Region容灾等能力连续2年入选Gartner全球云存储魔力象限。在应对企业数据存储、数据迁移等方面已有诸多成熟案，适用于不同的数据迁移场景。

对象存储OSS

        阿里云对象存储OSS立项于2008年，随飞天操作系统发展而演进。开发完成后先是在阿里巴巴集团内打磨，2011年正式在阿里云商业化发布。至2019年，OSS内核演进到第二代（OSS 2.0），发布9大新特性，继续扩大海量、安全、低成本、高持久、智能等优势。

了解更多上云联系我们（微信）：kinnah33

阿里云对象存储OSS技术演进

        2020年8月，国际知名咨询机构Gartner发布了最新云厂商产品评估报告，在云存储大类中，阿里云存储得分13.7（总分15），排名第二，与排名第一的AWS仅差0.1[2]，阿里云已连续两年入选该报告，也是唯一入选的中国厂商。

       在存储 40 条评估细项中，既包括主流的对象存储、块存储和文件存储产品服务能力评估，同时也涵盖数据迁移、跨区域复制、快照生命周期管理及数据加密等高级存储服务能力。阿里云存储在本次评估中的必备能力项目得分赢得大满贯，对象存储OSS 产品能力得分也历史性超越对象存储领域泰山鼻祖 AWS S3，分析师认为，OSS数据强一致性选项， 相比S3的最终一致性，用户业务开发和使用更简单。同时，OSS 可用性 SLA 全球第一，可达 99.995%, 领先 AWS 等云厂商 10~20 倍，让用户的业务更稳定。

{1}

Gartner发布全球云产品评估报告：阿里云存储能力全球第二

阿里云对象存储如何应对企业数据存储的关键需求

数据是企业的生命线，企业的数据存储也普遍面临着 3 个挑战：

通过大量的企业交流，从中总结了 5 个关键需求，如下图所示：

{2}

企业数据存储关键需求和阿里云对象存储应对之策

阿里云对象存储OSS数据迁移

        数据迁移是使用阿里云对象存储OSS的首要步骤。阿里云对象存储OSS为用户提供了多种数据迁移方法和工具，用户可综合考虑容量、带宽、应用的易用性等因素，选择合适的方法。下面主要介绍三种典型的数据迁移场景和相应的数据迁移方法。

PB级IDC数据迁移

        部分企业用户自建IDC，使用本地存储，已经积累大量业务数据。用户需实现快速上云，本地机房带宽较小或无公网，但是专线价格昂贵，上云成本较高。没有专线大带宽情况下，怎么快速迁移数据上云呢？

       这种文件数量庞大且数据源出口带宽受限的数据迁移场景可以使用阿里云离线迁移（闪电立方设备）[3]。

        离线迁移（闪电立方设备）是阿里云于2017年9月推出的安全、高效、便捷的数据迁移服务。通过定制化的迁移设备（闪电立方设备），实现TB到PB级别本地数据迁移上云。致力于解决大规模数据传输效率、安全问题等难题，支持本地文件系统 NFS，NAS，HDFS，FastDFS、CIFS、HDFS等数据源，提供按量、按时服务方式，特别适用于文件数量庞大且数据源出口带宽受限的企业用户。

阿里云离线迁移服务（闪电立方设备）

和其他迁移方式相比，离线迁移服务（闪电立方设备）具有以下优势：

       闪电立方在美国、中国、日本、马来西亚、澳大利亚等区域布局，先后完成图森智途、云健康、力美传媒、快牙、千寻、浙医二院、大连化物所、央视无锡基地、小鹏汽车、赢彻等大用户、典型客户的数据迁移、业务上云。

       用户可按照以下流程[4]使用阿里云离线迁移（闪电立方设备）。

闪电立方服务迁移流程

第三方云存储数据迁移

        阿里云在线迁移服务于2018.10月上线，通过公网或专线带宽将其他云服务上或本地机房上的数据轻松迁移至阿里云对象存储OSS或阿里云文件存储NAS，也可以在对象存储OSS之间进行灵活的数据迁移。特别适用于数据源出口带宽充足，数据量在100TB以内的公网传输场景。

         阿里云在线迁移服务搭建了完善的迁移监控可视化平台，用户无运维成本。只需要在控制台上填写按步骤填写基本的迁移信息后即可启动迁移任务；支持查询迁移进度，提供流量数据监控；支持迁移完成率统计，打印失败文件列表清单；支持随时启停迁移任务，动态修改迁移限流，重试失败任务。

在线迁移服务迁移流程

     当前在线迁移服务已支持12种第三方云存储到OSS的迁移，支持本地NAS迁移到阿里NAS，支持OSS到OSS、NAS到NAS、OSS与NAS之间迁移。支持用户指定机器与自动分配ECS两种部署方式。支持文件按前缀、最后修改时间过滤，支持指定目录或排除目录迁移。支持不停服热迁移，降低系统迁移过程汇总的应用停机时间。下表列出了在线迁移支持的异构数据源类型和功能。

在线迁移服务支持的异构数据源类型和功能

源数据位置

目标数据位置

全量迁移

增量迁移

指定前缀

指定最后修改时间

HTTP/HTTPS源

阿里云对象存储OSS

✅

✅

 ✅ ✅

七牛云

✅

✅

✅

✅

腾讯云COS

✅

✅

✅

✅

AWS S3 / AWS S3 多版本/ AWS S3 inventory

✅

✅

✅

✅

Azure Blob 

✅

✅

✅

✅

百度云 BOS

✅

✅

✅

✅

金山云 KS3

✅

✅

✅

✅

谷歌云 GCP

✅

✅

✅

✅

华为云OBS

✅

✅

✅

✅

UCloud UFile

✅

✅

✅

✅

又拍云

✅

✅

✅

✅

ECS

✅

✅

✅

✅

阿里云对象存储OSS

 ✅ ✅ ✅ ✅

阿里云文件存储NAS

✅

✅

✅

✅

本地文件存储NAS

阿里云文件存储NAS

✅

✅

✅

✅

阿里云文件存储NAS

✅

✅

✅

✅

阿里云文件存储OSS

✅

✅

✅

✅

和其他迁移方式相比，在线迁移具有以下优势：

       在线迁移服务上线以来，完成约27PB的数据迁移，支持了蓝月亮、玩美、欢拓、大疆、居然之家、VIVO、晓信、VipKid、小黑鱼、原力、点测、迅雷、一下、闪马、微博、UC、联想、读书郎、任意门等多个大用户的数据和业务迁移，并获得多个用户好评。

数据无缝迁移

        想象下这样的场景：某服务已经在自建的原站或其他云产品上运行，现因业务发展，需要将数据迁移到OSS上，但又不能停止服务。这种情况如何解决？

         这种数据无缝迁移到OSS的场景可以使用组合使用线迁移和回源功能。其中在线迁移负责迁移数据，回源功能保证业务的正常进行。整个迁移过程分为下面几个步骤：

如上所说，我们有两种方式Bucket回源属性可以做到无缝迁移，即镜像和重定向[5]：

镜像回源

利用镜像回源做无缝数据迁移

       上图中带有数字标记的箭头就是数据访问miss时的数据流向。在镜像回源的方式下用户访问OSS如果Object miss，那么OSS会替用户从源站读回文件，并写入到OSS，这样一来，如果用户的请求可以遍历所有的文件，那么这个异步的迁移过程其实是可以省略掉的。

重定向回源

利用重定向做无缝数据迁移

       上图中有数字标记的箭头就是数据访问miss时的数据流向。在配置重定向回源的方式下，如果Object miss，那么需要您的客户端去源站去读取一次数据。这就要求您的客户端要能理解http协议中的3xx重定向语义（OSS的重定向回源是通过3xx重定向来实现的）。需要注意的是，在这种回源方式下，OSS不能自动帮用户搬迁数据，用户的数据必须依靠迁移工具/服务来异步的搬迁到OSS上面来。上图中也能看到在这种场景下配合CDN一起使用，那么文件会cache在CDN上，无需每次miss之后都回源站读取，也是一种减少延迟、节省源站流量的方式。如果不使用CDN，那么就需要用户自己完成回源站读取数据的过程。

两种回源方式都能实现数据无缝迁移，具体选择哪种可以参考以下使用建议：

两种回源规则均可通过阿里云OSS控制台或命令行工具ossutil进行操作。

 

典型企业案例

数据迁移方案需要因地制宜，选择合适的数据迁移方案，可能会涉及到不同迁移方案的组合。下面介绍两个典型的数据迁移案例。

115科技45天百PB数据迁移

场景

      2018.2，阿里云支持115科技的数据迁移。115科技总数据量约100PB、130亿文件存储在东莞、佛山、梅州三个机房，分别有数据50PB、30PB、20PB。整个迁移过程要求整体服务不停机，客户无感知，数据无遗漏错误。当时互联网历史上还未有规模如此大的公有云数据迁移先例。

迁移方案

       为了保障115业务平滑迁移，阿里云将分布在不同地区的数千台物理机内的数据与云上的位置进行了一一对应的规划，保证每一比特都有迹可循。从于迁移成本和效率考量，阿里云最终采取在线迁移和离线迁移的组合迁移方案。

115科技数据迁移方案——在线迁移和离线迁移组合拳

 

       其中，佛山、东莞机房采用了300Gb专线互连的传输方式，建立边界路由器和路由器接口来连接115的数据中心与阿里云VPC，采用400Gb/s的分布式在线数据传输服务OSSImport，将115的数据加密迁移到对象存储OSS中，并对每个文件做端到端的SHA-1校验，避免出现数据不可用或者不一致的情况。为了提升传输效率，阿里云存储研发团队在10天内设计了11个功能，包括SHA-1校验边算边传、WORM（一写多读禁止覆盖））、HEIF与矢量图片转换支持等特性，用于承载115科技的非结构化数据如文档、图片、视频的业务[6]。

      梅州机房使用闪电立方，每套闪电立方可容纳480TB数据，在数据安全方面满足企业严格的要求。可在2分钟内就完成了2TB数据的安全传输过程，每块硬盘专项分离保护，并实施专人专车的运输保障，让离线传输同样专业、高效、安全。有了闪电立方的快速离线迁移能力，115科技的上云时长从预计的4个月大幅缩短到了45天。

     经过严格校验无一错误。115科技迁移上云，是中国互联网史上数据规模最大的迁移项目，成为业界标杆。

某互联网公司无缝数据迁移

场景

客户 A 为某互联网服务公司，主要业务架设于某云计算服务提供商 B 处，为其用户提供图片、视频等在线编辑服务。客户 A 存储在 B 处的历史数据约有1亿个文件，共320TB 左右大小，每天新增约20GB 数据，B 处的数据存储服务和 OSS 的访问带宽均为250MByte/s，业务所需带宽最高为50MByte/s。

现因公司发展需要，考虑将业务切换至 OSS 上。切换时需将原始数据及新增的数据迁移至 OSS，因历史数据较多，为保证公司业务正常进行，此次业务切换需做到如下要求。

迁移方案

根据客户需求及背景信息，制定了如下迁移方案。

  1. 通过阿里云在线迁移服务将客户的存量数据从云服务迁移到 OSS，迁移完成前，客户业务不做变动。

  2. 存量数据迁移完成后，通过 OSS 的镜像回源功能让用户可以访问到暂时未迁移至 OSS 的增量数据。

  3. 客户将业务切换至 OSS。

  4. 业务切换完成后，通过在线迁移服务将用户的增量数据也迁移至 OSS。

  5. 数据全部迁移完成并检查无误后，删除源端数据。

步骤一：迁移存量数据

  1. 创建用于存储迁移数据的 OSS Bucket，详细步骤请参考创建存储空间。

  2. 创建用于迁移的子账号 AccessKey。

创建数据地址并创建全量迁移任务。详细配置步骤请参见在线迁移服务对应教程的迁移实施文档。其中，迁移任务的任务配置如下所示。

步骤二：配置镜像回源

       迁移存量数据用时约25天，数据迁移过程中，源站还在不断产生新的数据。为了不中断业务，做到业务无缝切换，还需要配置镜像回源功能。当用户请求的文件在 OSS 中没有找到时，OSS会自动到源站抓取对应文件保存到 OSS，并将内容直接返回给用户。

  1. 登录 OSS 管理控制台。

  2. 在存储空间列表内，单击存放迁移数据的存储空间。

  3. 单击存储设置，之后单击镜像回源区域的设置。

  4. 单击创建规则，在弹出的创建规则对话框填写回源信息。

{10}

步骤三：业务切换至 OSS

      客户在业务服务器上将数据读取的源地址切换至 OSS。

步骤四：迁移增量数据

       迁移存量数据期间，源端产生了约100000个，共500GB 左右大小的文件，还需要将这部分增量数据迁移到 OSS。

  1. 根据步骤一：迁移存量数据的创建迁移任务重新创建一个增量迁移任务。其中，迁移任务的任务配置如下所示。

{11}

性能调优配置如下所示。

 

 

   4. 单击创建，开始执行迁移任务。

   5. 迁移完成后，需通过查看迁移报告，并对比源地址和目的地址的数据，确认数据已经迁移完成。

步骤五：删除源端数据

      所有数据迁移完成后，为防止源端继续产生存储费用，可通过生命周期管理，将 Object 生命周期设置为1天，1天后将删除所有数据。

了解更多上云联系我们（微信）：kinnah33

 


文章TAG：
下一篇