产品简介

数易系统——作为傲天智制大数据管理平台的子系统,基于流计算开发平台,快速对接流式数据源,完成流式数据处理与统计,以及针对流数据的实时计算模型,解决行业流式处理中分布式计算问题、多尺寸时间窗口漂移的动态数据处理的问题,实现流式数据的分析和数据输出,有效地缩短全流程数据流时延、实时化计算逻辑、平摊计算成本,最终有效满足实时处理大数据的业务需求,帮助企业向实时化、智能化大数据计算升级转型。

技术架构
技术特点
  • img

    分布式

    完全分布式架构,避免单点故障。

  • img

    微服务

    微服务体系架构,适合云化部署。

  • img

    可视化

    拖拽式应用服务,可适配业务的灵活性

  • img

    标准化

    独立元子组件设计,利于扩展。

  • img

    高性能

    采用业界最高效的计算引擎,适合开展大数据业务。

功能介绍
  • img

    流式数据接入和输出

    提供流式输入和流式输出元子,在界面上即可配置流式数据的接入和输出。数据类型支持MySQL、Oracle、SQLServer、PostgreSQL、Hive、Hbase、MongoDB、Hdfs、kafka等关系型、非关系型数据库多种数据格式的流式数据输入、写出。

  • img

    流程设计

    通过对数据计算元子拖拽组合的方式,快速实现流式数据的可视化处理流程设计,满足对流式数据的自定义输入、清洗、转换、抽取、计算和输出,实现企业对流式数据的快速应用。

  • img

    流程管理

    对不同项目归属下的流程进行统一管理,包括查询流程的基本信息,对流程进行编辑、导出、运行停止、导入、导出、分享、删除等管理操作。

  • img

    流程监控

    可以对运行中的流程进行实时监控,以保证系统流程正常运行和日常运维:

    指标监控:可以对采集流程和流式流程的运行指标进行监控。采集指标包括采集记录数、采集文件数、采集字节数、采集错误记录数、采集错误文件数、采集速度。流式指标包括流式记录数、流式输入速度、流式处理速度等。

    事件监控:查看该流程的事件输出列表。事件列表包括事件时间、事件类型、主机、事件等级、事件描述。事件等级包括正常、一般、重要、严重。

    日志监控:流程运行时展示展示流程相关的运行日志记录,以供流程监控运维和问题排查定位。

  • img

    元子管理

    元子是流程的最小计算处理单元,涵盖数据输入输出、数据转换、数据清洗、数据处理等大数据统计分析的各种处理操作。本功能满足对本系统所有元子进行管理,包括元子的编辑、查看、导入、导出、删除以及自定义元子的创建维护。

  • img

    操作日志

    可以查询用户账号的操作日志,以便了解用户在系统的操作行为,满足企业安全审计与安全管理政策要求。

联系我们