面临挑战
面临挑战
手工配置表,抽取数据时间较长

用 Kettle 需要一张张表进行配置,抽取上亿条数据需要几天时间,耗时长,影响业务取数

数据源繁多

包括小程序行为数据、门店客流数据、交易订单、供应链等以及第三方数据源

缺少可视化监控,运维成本高

没有可视化监控界面,无法查看同步的数据量、速率、每张表的同步状态等,出现错误难以调试,运维成本高

解决方案
解决方案
统一数据源与数据目的地管理

小程序后台是 MySQL 数据库,除此之外还有多种数据源。DataPipeline 支持多种数据源和目的地种类(MySQL,Oracle,FTP / CSV,API,Hadoop,Hive)

可视化交互界面

可视化交互过程,在数据任务的管理页面上,可以查看该任务当前的状态,同步的数据量,速率,体验优异

自适应功能

DataPipeline 能够自适应表结构变化,可自动同步;目标端自动创建同步表,无需人工干预;根据业务的实际需要,选择相应的同步策略等灵活多样的自适应功能

客户价值
实现数据共享

实现数据共享

1 分钟配置库到库实时数据管道,效率提升 80%。3 个小时同步 6 亿条数据,性能提升 24 倍

降低运维成本

降低运维成本

可视化运维监控,可快速灵活处理数据,运维成本降低 60%

支持数据分析和业务决策

支持数据分析和业务决策

时性强,性能稳定,有效满足了业务部门对数据的要求,有助于对实时供应链管理,实时物料库存、报损、门店管理(BOH)、实时新品销售时段进行分析

用数据驱动决策与创新!