DataPipeline

零代码可视化监控,运维从未如此轻松!

体验 Demo
产品简介
DataPipeline 是一款批流一体数据融合平台,无需任何代码,通过可视化图形配置界面只需 5 分钟即可自服务部署一条实时数据管道,并提供丰富的管理功能:数据的批流一体处理、API 数据接入、数据质量管控、数据任务流管理,可视化运维管理、错误队列管理、用户管理、元数据管理等,帮助客户实现高效地连接复杂的异构数据源和目的地,大数据量高并发数据同步,可视化实时监测保障数据质量等价值,为客户灵活的数据消费需求提供强有力的技术驱动。
产品功能
批流一体数据读写
进行一到多的数据分发任务,支持批流一体数据同步,可批量选择数据读取对象,系统自动匹配异构数据源之间的表结构,并支持可视化配置所有属性。
核心功能:个性化任务设置,设置读取条件,清洗脚本,自动匹配映射关系。
数据清洗
通过数据清洗组件实现轻量化数据清洗,同时提供高级清洗组件,满足大部分数据处理需求。
核心功能:可视化清洗组件,高级清洗组件,表结构修改工具。
任务流
可通过定时(或外部请求)实现数据同步任务、脚本任务之间设置上下游流向关系,形成有向无环图(DAG)。
核心功能:任务调度,远程命令调度,任务调度监控。
错误队列
实时收集如脏数据、写入设置有误等数据相关错误,后置处理数据错误,避免数据无法写入目的地导致任务暂停的问题。支持个性化设置错误队列。
核心功能:错误队列设置,错误队列展示,筛选功能。
元数据管理
可查看或修改已连接 DataPipeline 的所有数据源的技术元数据、业务元数据、样例数据。
核心功能:技术元数据、业务元数据、样例数据、历史表结构变化。
运维管理
通过可视化运维看板,一站式综合管控内部所有数据的交换进展,提供多样化的图表,直观可视,打造数据交换的 “管理驾驶舱”。
核心功能:数据任务看板、速率进度信息、报表统计、日志审计。
产品特色
featureImage
多种部署模式
支持混合云、跨云、私有化的部署模式,大幅提高安全性
featureImage
开箱即用
简单快速的安装流程,高效部署生产环境,即装即用
featureImage
零代码
简单易用的用户体验,零代码建立传输任务,降低企业用户使用门槛
featureImage
低成本
支持大规模数据集成,成本比传统方式低 90%,数据聚合清洗的效率提升5倍以上
featureImage
全程质量管控
高质量体系保障数据传输的安全性与准确性,真正实现数据无忧
featureImage
多种数据源
支持多种数据源,一键接入,无需繁琐配置
featureImage
支持数据源变化
当数据源的表、字段变化时,支持多种处理方式
featureImage
实时融合
实时的数据融合与集成,不让延迟成为瓶颈
featureImage
错误队列预警
完善的纠错机制与系统状态监控,迅速预警数据问题
featureImage
可视化运维
可视化监控全部数据任务,降低处理数据问题的成本
产品体验
itemImage任务流
itemImage数据同步操作
itemImage数据清洗
itemImage数据任务管理
itemImage错误队列
任务流
实现任务与任务之间可配置的流向关系,形成有向无环图(DAG)。任务流可由定时时间(Cron 表达式)或外部请求(提供 API 地址)开始,根据 DAG 逻辑执行数据同步任务、文件同步任务、脚本执行等操作。
carouselImage
数据同步操作
任意组合数据源和数据目的地生成数据管道,并支持源和目的地的限速和并发管理,“实时” 或 “批量”读取模式的数据获取,数据结构发生变化时的预警通知等。
carouselImage
数据清洗
通过设置清洗规则, 对无效数据,空值,重复数据,残缺数据,异常数据等 “脏” 数据进行纠正和转换。
carouselImage
数据任务管理
数据任务监控、消息队列积压监控、调度监控和预警管理。在数据任务的管理页面上,可以查看该任务当前的状态,同步的数据量,速率,该任务下每张表的同步状态等。
carouselImage
错误队列
优化对同步过程中的错误数据的管理,智能分析、处理错误数据总览、错误数据详情、错因分析、错误数据处理。
carouselImage

用数据驱动决策与创新!

体验 Demo