DataPipeline

零代码可视化监控,运维从未如此轻松!

体验 Demo
banner
产品简介
DataPipeline 是一款批流一体数据融合平台,无需任何代码,通过可视化图形配置界面只需 5 分钟即可自服务部署一条实时数据管道,并提供丰富的管理功能:数据的批流一体处理、API 数据接入、数据质量管控、数据任务流管理,可视化运维管理、错误队列管理、用户管理、元数据管理等,帮助客户实现高效地连接复杂的异构数据源和目的地,大数据量高并发数据同步,可视化实时监测保障数据质量等价值,为客户灵活的数据消费需求提供强有力的技术驱动。
产品功能
批流一体数据读写
进行一到多的数据分发任务,支持批流一体数据同步,可批量选择数据读取对象,系统自动匹配异构数据源之间的表结构,并支持可视化配置所有属性。
核心功能:个性化任务设置,设置读取条件,清洗脚本,自动匹配映射关系。
数据清洗
通过数据清洗组件实现轻量化数据清洗,同时提供高级清洗组件,满足大部分数据处理需求。
核心功能:可视化清洗组件,高级清洗组件,表结构修改工具。
任务流
可通过定时(或外部请求)实现数据同步任务、脚本任务之间设置上下游流向关系,形成有向无环图(DAG)。
核心功能:任务调度,远程命令调度,任务调度监控。
错误队列
实时收集如脏数据、写入设置有误等数据相关错误,后置处理数据错误,避免数据无法写入目的地导致任务暂停的问题。支持个性化设置错误队列。
核心功能:错误队列设置,错误队列展示,筛选功能。
元数据管理
可查看或修改已连接 DataPipeline 的所有数据源的技术元数据、业务元数据、样例数据。
核心功能:技术元数据、业务元数据、样例数据、历史表结构变化。
运维管理
通过可视化运维看板,一站式综合管控内部所有数据的交换进展,提供多样化的图表,直观可视,打造数据交换的 “管理驾驶舱”。
核心功能:数据任务看板、速率进度信息、报表统计、日志审计。
产品特色
featureImage
多种部署模式
支持混合云、跨云、私有化的部署模式,大幅提高安全性
featureImage
开箱即用
简单快速的安装流程,高效部署生产环境,即装即用
featureImage
零代码
简单易用的用户体验,零代码建立传输任务,降低企业用户使用门槛
featureImage
低成本
支持大规模数据集成,成本比传统方式低 90%,数据聚合清洗的效率提升5倍以上
featureImage
全程质量管控
高质量体系保障数据传输的安全性与准确性,真正实现数据无忧
featureImage
多种数据源
支持多种数据源,一键接入,无需繁琐配置
featureImage
支持数据源变化
当数据源的表、字段变化时,支持多种处理方式
featureImage
实时融合
实时的数据融合与集成,不让延迟成为瓶颈
featureImage
错误队列预警
完善的纠错机制与系统状态监控,迅速预警数据问题
featureImage
可视化运维
可视化监控全部数据任务,降低处理数据问题的成本
preloadImagepreloadImagepreloadImagepreloadImagepreloadImage
产品体验
itemImage任务流
itemImage数据同步操作
itemImage数据清洗
itemImage数据任务管理
itemImage错误队列
任务流
实现任务与任务之间可配置的流向关系,形成有向无环图(DAG)。任务流可由定时时间(Cron 表达式)或外部请求(提供 API 地址)开始,根据 DAG 逻辑执行数据同步任务、文件同步任务、脚本执行等操作。
carouselImage

用数据驱动决策与创新!

体验 Demo