“在东方证券,我们一直致力于把握和利用数据的力量,以驱动我们的业务创新和优化客户服务。DataPipeline的引入标志着我们数据管理能力的重大提升。它不仅实现了业务系统与大数据系统的高效融合,还广泛适配了国产数据技术,极大提高了我们的数据处理效率。更关键的是,DataPipeline的企业级管理和高效运维使我们的实时数据分析更加迅速和精准,加速了业务创新。它使我们能够快速构建数据任务,有效地提升了运维管理的效率,对提高我们的竞争力起着至关重要的作用。”
为了赋能数据驱动的创新业务,并确保做出及时、准确的决策,东方证券需要实现从资讯系统、CRM系统、交易系统等业务系统到大数据系统的批流一体化数据融合。
东方证券寻求一款能广泛适配国产数据管理技术、高稳定性且具备企业级管理能力的平台型产品,以替换不再能满足需求的现有数据同步工具。
DataPipeline适配多种数据库管理技术,包括Oracle、MySQL、MS SQL Server、Hive、OushuDB等,并支持数据节点的灵活扩展,特别是对国产数据库的广泛支持。平台不仅帮助用户管理异构数据节点的实时同步和批量数据处理任务,还全面实现了高可用性。用户可以根据可用性需求灵活部署组件节点,从而避免单点故障。
采用“数据节点注册、数据链路配置、数据任务构建、系统资源分配”的分层管理模式,每层都能独立管理和授权。用户可在链路上定义字段类型映射、限速、告警等策略,并应用到任务层面,实现层级化的精细管理。同时,所有重要事件和告警信息都能推送到用户定义的邮箱、文件路径或Webhook,实现与企业现有运维监控体系的无缝集成。
通过提高业务端取数的实时性和丰富性,满足了业务端对实时大数据分析的业务需求,优化了客户体验并加速了业务创新。
使数据工程师和运维工程师能够快速构建数据任务,并及时洞悉数据、任务、系统的最新动态,有效提升了运维管理的工作效率和效益。