原标题：如何快速实现PB级海量数据实时迁移？

在当前大数据环境和信息技术快速发展情况下，企业的信息系统数据量成几何级数增加，随着各行各业都先后涌现出了不同规模的数据中心，海量数据迁移是企业解决存储空间不足和信息系统升级改造等过程中必须面对的一个现实问题。无论是打造准实时数仓，还是收集更加及时的信息以供企业进行决策，都需要对数据进行加速处理。一些企业已经开始着手快速有效地使用数据来提升他们的商业洞察了。

对于大多数的企业来说，系统一般批量迁移数据，并在数据到达数据仓库后再进行分析。在实际迁移操作中，我们发现技术人员非常关心如何在业务约束条件下，快速、正确、完整地实现海量数据迁移，保障数据的完整性和一致性。不仅如此，他们对实时迁移也越来越感兴趣，例如，有的金融客户希望在数据仓库系统中提升实时分析数据的能力；有的零售客户希望利用传感器来追踪货品，并执行数据流分析以管理库存并预测趋势；还有的客户则要依赖机器学习来分析各式数据，为客户提供近乎更及时的画像和营销方案。这些例子都体现出了海量数据和实时迁移的价值所在，但实施起来却相当花费时间。

据不完全统计，超过80%的企业都在大量使用复杂架构来应对这种批流混合的数据迁移需求，但在实际实施过程中却进展缓慢。企业的CTO们一直在尝试并寻找合适的工具来满足数据迁移需求。他们希望找到一个既可以对海量数据迁移，又能对新产生的业务数据实时处理的一体化解决方案。

解决方案

这个问题何解？PetaBase实时大数据平台提供了一个统一的、易用的、支持批流一体的实时数据迁移工具——PB Migrate，完美解决这个问题。这个工具意味着：

· 与上游数据源无缝接入

· 从更宽广的内部和外部来源中提取数据

· 保障海量数据快速、有效、完整地进入分析系统或数仓系统

· 及时将信息转化为知识

PB Migrate是一个集合数据集成、数据加工流程构建的灵活易用的数据迁移工具。用户可以方便的接入不同的数据源，并且完成数据迁移流程的构建。PB Migrate有可视化的数据流构建设计器，并且能够对运行态的数据应用进行监控。PB Migrate用于简化构建，执行和操作企业数据流。用户几乎不需要编写代码就可以轻松构建批处理和流式数据流。它大大降低了数据接入的难度，广泛的数据源支持使其能适应多样化的迁移场景。

工具特点

PB Migrate具有以下特点：

1、广泛支持各种关系型/NoSQL数据库、平面文件、HTTP、Hadoop、Cloud等

2、提供拖拽式图形化的作业流程设计界面

3、可视化的作业管理、计划调度、实时监控和日志分析

PB Migrate依托Petabase实时大数据平台强大的计算和存储能力，能满足海量数据的高吞吐量要求。PB Migrate的计算引擎与Petabase实时大数据平台中的Hive、Mapreduce、Spark计算框架进行了整合，通过在Migrate中定义数据流，执行时调用MR、Spark等计算框架处理数据流的方式，帮助企业快速完成批量数据的迁移。在6个节点的Petabase集群环境中，PB Migrate可达到1Gb/秒、千万行/秒的写入性能。

在以往的数据迁移项目经历中，技术人员使用ETL工具积累了许多专业知识。使用这些功能强大但复杂的ETL软件需要专门的培训和经验。这类软件的用户逐渐习惯了强大系统附带的高成本(例如超长的交付时间成本和昂贵的专业人才成本)。但现在，这种情况有所改变。利用PB Migrate就能快速实现传统数据到大数据平台的同步。学习曲线变小了，企业可以更快速地获得数据迁移方案。

使用PB Migrate能帮助你获得更多的迁移成果，技术人员只需要关注如何更好地、更快地处理更多的数据。快速实现PB级海量数据实时迁移，PetaBase实时大数据平台给你更好的数据迁移开发者的体验。