面临挑战
异构数据源繁多且复杂
正保远程教育旗下有十几个子品牌，数据存在在多个系统中，如客服类、运营类、内容产出类等，数据源繁多且复杂。这就导致企业在打通异构数据源时，需要使用多套产品来解决异构数据源打通的问题
数据实时性
正保远程教育业务部门较多，有客服部门、教务部门、运营部门、市场部门等，为能及时了解学生上课等情况，做好后续服务，需要及时取数进行实时分析，以及时响应优化决策
取数效率较低，人力成本高
由于数据源多且比较复杂，数据库需要 DBA 负责，网络需要运维负责，一旦业务部门提出需求，中间负责数据管道的人员需要协调多方完成取数，效率较低
解决方案
批流一体的数据融合
DataPipeline 基于流式数据处理的模式，实现在不间断的时间轴上，不间断地处理无限数据集。不仅能实时获取源端的数据变化，还能及时消费掉，这样可以保证数据的实时传输
支持异构数据源和目的地
DataPipeline 支持市场主流关系型数据库和非关系型数据。同时可以快速实现云上数据平台的数据打通、支持各种大数据平台、文件系统同步等功能
一对多分发
一对多分发，可满足正保远程教育不同业务场景的用数需求
客户价值
极大程度上降低了成本
之前为解决数据传输问题需进行二次开发，投入了大量时间和人员，现在只需投入之前的 20%-30%，人工同步脚本开发时间节省 75%
部署方便、学习上手快
工具轻便，容易学习上手部署，版本更新迭代快，能最大化满足市场变化带来的挑战，为灵活的数据消费需求提供了强有力的技术驱动
支持数据分析和业务决策
流式处理框架能满足高效低延迟，秒级准实时要求，数据同步实时度提升 90%，极大程度上满足了业务部门的数据需求