正保远程教育旗下有十几个子品牌,数据存在在多个系统中,如客服类、运营类、内容产出类等,数据源繁多且复杂。这就导致企业在打通异构数据源时,需要使用多套产品来解决异构数据源打通的问题
正保远程教育业务部门较多,有客服部门、教务部门、运营部门、市场部门等,为能及时了解学生上课等情况,做好后续服务,需要及时取数进行实时分析,以及时响应优化决策
由于数据源多且比较复杂,数据库需要 DBA 负责,网络需要运维负责,一旦业务部门提出需求,中间负责数据管道的人员需要协调多方完成取数,效率较低
DataPipeline 基于流式数据处理的模式,实现在不间断的时间轴上,不间断地处理无限数据集。不仅能实时获取源端的数据变化,还能及时消费掉,这样可以保证数据的实时传输
DataPipeline 支持市场主流关系型数据库和非关系型数据。同时可以快速实现云上数据平台的数据打通、支持各种大数据平台、文件系统同步等功能
一对多分发,可满足正保远程教育不同业务场景的用数需求
之前为解决数据传输问题需进行二次开发,投入了大量时间和人员,现在只需投入之前的 20%-30%,人工同步脚本开发时间节省 75%
工具轻便,容易学习上手部署,版本更新迭代快,能最大化满足市场变化带来的挑战,为灵活的数据消费需求提供了强有力的技术驱动
流式处理框架能满足高效低延迟,秒级准实时要求,数据同步实时度提升 90%,极大程度上满足了业务部门的数据需求