产品简介
智制大数据管理平台（Zhizhi BigData Managemment Platform，简称 ZBMP），立足于大数据管理和挖掘分析等实际需求，集数据采集、数据资产管理、数据治理、数据质量、任务调度、智能BI报表、日志分析、网管功能、权限管理等多个子系统于一体，全流程、多方位对大数据进行统一管理。
数据采集系统是一个分布式的多源异构数据采集系统，提供异构或同构数据存储之间的数据全量和增量同步功能。支持200多对的数据采集组合，并可以插件开发的方式，快速新增对新的数据源的支撑能力，可依实际采集任务工作量对采集节点数量进行横向扩充，并具备采集任务的管理和监控功能。该系统具有灵活性，方便性，可扩展性，安全性，低成本等特点。
数据采集系统是数据处理和有效分析的起点和前提，为数据治理、数据建模、数据质量管理以及可视化BI等不同大数据管理和应用场景提供有力支撑。智制数据采集系统，作为智制大数据管理平台的子系统，主要实现对关系型数据库、非关系型数据库以及非结构化数据等不同数据类型的数据采集与接入。
技术架构
技术特点
-
分布式
系统采用微服务架构开发，分布式部署，可避免单点故障。
-
多源异构数据源
可支持常见数据源之间的数据采集和同步，目前支持200多对的数据采集组合。
-
数据源扩展
可通过读写插件的开发，提供对新的数据源的快速支持。
-
全量&增量同步
提供全量同步和增量同步的能力。
-
复杂度可控
每个微服务可由一个小规模开发团队完全掌控，易于保持高可维护性和开发效率。
-
独立部署
微服务具备独立的运行进程，每个微服务也可以独立部署。
-
技术选型灵活
团队可以根据需求和现状，自由选择最适合的技术栈。
-
容错
故障会被隔离在单个服务中。其他服务可通过重试等机制实现应用层面的容错。
-
扩展
每个服务可以根据实际需求独立进行扩展。
功能介绍
-
项目管理
用户可以在系统中进行新增、修改、删除等项目管理操作，以及将定制的流程指定到相应项目中，以便进行项目-流程的归属管理。项目管理操作包括：
查询项目：可以通过页面的项目树，点击展开项目树节点，或输入项目名称，查找相关项目文件夹。
新增项目：点击项目树的添加按钮 ，可以创建新的项目文件夹。
查询采集任务：可以通过页面的任务状态、任务名称等查询条件，快速查找采集任务。
采集任务列表：页面展示平台的采集任务列表信息，项目树和任务列表联动显示，点击不同的项目文件夹，展示项目归属下的采集任务。默认展示所有采集任务。
查看任务详情：点击查看采集任务图标 ，可以查看已有的采集任务。
修改采集任务：点击修改采集任务图标 ，可以修改已有的采集任务。
删除采集任务：点击删除采集任务图标 ，可以删除所选的采集任务。
-
采集任务
对新增的采集任务进行任务属性配置、任务监控、任务日志等管理操作。
任务属性：此功能主要对采集任务属性进行参数配置，以完成采集任务的创建。
任务监控：此功能主要对采集任务进行指标监控，保障采集任务的正常运行。
任务日志: 此功能主要打印和展示采集任务的任务日志，以便进行运维排查和问题定位。
-
运维概况
点击左侧菜单的【运维概况】，进入运维概况页。展示平台整体任状况，包括：
查询条件：可按照时间条件、任务状态等查询平台的采集任务运维概况。
任务状态统计图: 展示未执行、执行中、已停止、执行失败等各种不同状态的任务数占比统计。点击失败状任务可下钻查看失败任务列表，显示失败任务的相关信息。点击失败任务可进一步下钻查看失败任务的运行日志，以便运维排查和问题定位。
任务数运行趋势图：展示不同时间点的任务数，以了解平台的采集任务并行运行资源情况。
任务时长排行TOP10：展示任务时长前10的任务信息及时长数据。以了解平台的采集任务资源占用情况。
-
运维监控
点击左侧菜单的【运维监控】，进入运维监控页。展示平台整体的任务运行状态甘特图，可视化呈现平台的采集任务资源运行情况。
用户可通过界面的查询条件进行采集任务运行情况查询，查询条件包括：时间范围、任务状态。默认展示所有采集任务。
监控采集任务资源运行情况包括：任务运行状态、任务运行开始时间、任务运行结束时间、任务运行时长等。
-
操作日志
点击左侧菜单的【操作日志】，进入【操作日志】页，可以查询用户账号的操作日志，以便了解用户在系统的操作行为记录信息。
用户可通过界面的查询条件进行操作记录查询，查询条件包括：时间范围、用户账号、操作模块、操作类型等查询条件。默认展示所有日志。
查询返回日志记录结果包括：操作时间、操作模块、用户账号、用户姓名、用户IP地址及端口号、登录服务器名称、操作类型等等。
联系我们