面临挑战
数据源繁多，数据孤岛严重
开发环境搭建和开发语言学习难度高，涉及多种分布式技术组件，使用代码开发和组件调优难度大。
测试难度大
测试数据模拟麻烦，单元测试工具支持度低，联调环境链路涉及系统较多，测试环境资源不足。
投产风险高
关联组件的配置文件和配置项多，作业任务环境信息和配置参数多，验证环境少，配置和环境信息出错引发投产问题风险高。
运营难度大
错误和异常数据难以追溯；实时任务的业务监控和任务运行状态监控相对传统应用来说比较难使用行内现有监控系统完成。
人员储备不足且流失频繁
实时开发资源池人员流失频繁，满两年离职率高，能独立完成重要实时任务的开发人员不足五人。
招聘难度大
市面上有实时任务开发经验的人员对薪酬和发展空间要求较高，团队多数开发人员是从传统数据仓库开发人员招聘的。
解决方案
数据分发
客户行为等实时数据的标准化补全并分发到各个应用系统。
实时头寸业务支持
业务系统的实时账户变动与指标变化传输到 GaussDB 作为实时头寸的计算依据。
业务数据实时查询支持
实时数据加载到 Redis 作为业务实时查询使用。
历史数据查询支持
主数据系统数据和数据仓库数据加载到 SequoiaDB 作为历史数据查询使用。
客户价值
提升数据应用的及时性
支持实时的对客、对监管的查询需求。提升数据中台查询模块的查询性能，降低存储成本。
加速数据的流通
一对多的数据下发链路可以很好地应对各种实时数据应用的场景，提高数据的复用度。
快速开发配置和上线部署
DataPipeline 简单易用，极大地加速了实时数据同步需求的开发配置和上线部署。实时数据的采集、加工均可以以配置的方式实现，一改过去项目制交付的弊端。民生银行无需再用 Spark streaming 来开发实时数据传输，降低了手工开发成本，加快了实时数据价值的释放。