功能介绍

• 

  项目管理

  用户可以在系统中进行新增、修改、删除等项目管理操作，以及将定制的流程指定到相应项目中，以便进行项目-流程的归属管理。

• 

  流程定制

  通过所见即所得的拖拽式操作，将流程最小的计算处理单元——“元子”拖拽到流程设计器面板区域，可进行流程自定义定制，快速实现批量数据计算处理和大数据应用。 界面提供流程参数设置，优化流程的运行性能及系统资源负载。可以对流程进行任务调度发布。 数据类型兼容性强，支持MySQL、Oracle、SQLServer、PostgreSQL、Hive、Hbase、MongoDB、Hdfs等关系型、非关系型数据库多种数据格式的输入、写出。

• 

  任务设计

  可视化拖拽组合方式，实现平台创建的任务与多种常用脚本类型任务拼接组合，形成复杂的定制任务。可以设置流程的任务发布，设置任务参数，任务参数包括：定时配置、失败选项、并行选项、流程参数等，以便对任务的并发和失败时的调度策略以及定时统计任务进行设置。 脚本类型任务支持python脚本、Shell脚本、HiveSQL、Java程序、MapReduce Job、Sqoop Job等多种脚本类型的上传和任务组合设计。

• 

  任务监控

  可以查看任务的基本信息，以及监控定时任务的运行情况，具体监控内容包括：

  任务运行趋势：通过直观的任务运行趋势图展示，监控任务的相关指标变化情况，包括时长、记录数、文件数、错误记录数、错误文件数等等。

  任务监控列表：展示任务的运行情况，包括任务id、开始时间、结束时间、运行时长、运行状态、以及任务相关监控数据指标等等。

  任务运行日志：查看该任务的运行日志记录，以便运维监控和问题排查；

• 

  元子管理

  元子是流程的最小计算处理单元，涵盖数据输入输出、数据转换、数据清洗、数据处理等大数据统计分析的各种处理操作。系统内置丰富的元子最大程度地满足多样化、复杂的、变化的大数据流程定制和业务数据应用。元子类型包括以下几大类：

  输入输出：读数据库、读Hive、读HDFS、读HBASE、读MongoDB等等。

  数据过滤：空值过滤、字段过滤、时间过滤、抽取、剔重等等。

  数据抽取：时间抽取、正则提取、敏感数据监测等等。