客户需求

针对DPI省汇聚平台重点需求如下：

1、固网DPI数据的采集汇聚、数据治理、 数据资产管理需求；

2、DPI数据与相关业务系统业务数据结合，通过智能BI工具提供智能分析和决策；

3、数据分析及挖掘新任务需求的快速响应和实现。

解决方案

针对项目需求，傲天提供了智制：数据采集、数据资产、数治、智能BI四个子系统结合的解决方案来满足客户的需求：

数据采集：分布式的多源异构数据采集系统，提供异构或同构数据存储之间的数据全量和增量同步功能。同时可以插件开发的方式，快速新增对新的数据源的支撑能力，可依实际采集任务工作量对采集节点数量进行横向扩充，并具备采集任务的管理和监控功能。

系统具有以下特点：

1、全：支持结构化、半结构化、非结构化等多种异构数据的采集和接入；

2、快：支持离线和流式数据的采集模式，从而提高后续数据应用的时效性；

3、精：采集足够全面的属性、维度、指标让积累的数据资产更加优质；

4、大：充分考虑用户规模与数据规模增长，支持数据资产存储和扩展。

数据资产管理：数据资产管理可对数据的全生命周期进行管理，在数据规划阶段用数据标准规范数据结构的设计，在数据开发阶段对数据进行集中调研、配置，根据数据的业务目的确定其发布方案，并指派不同的数据权限给到不同的用户，防止数据的滥用造成损失。 系统具备针对数据源管理、数据目录管理、元数据管理、数据审核管理、数据权限管理、数据质量管理、数据血缘分析、数据生命周期管理、数据清理管理等功能。

系统通过数据稽查和数据质量管理功能对指定数据进行跟踪，检查其数据的完整性和一致性。在数据使用过程中，可以通过生命周期管理和血缘分析发现数据的变化以及数据之间的关联，对于过期的数据，可以使用数据清理进行最后的数据维护。

数据资产管理系统拥有完善的日志审计机制，可以完整追溯针对数据的操作过程。

数治系统：提供大数据的清洗、转换、抽取、处理等分布式可视化数据处理能力，实现周期处理数据的需求，从而解决大数据任务难管理、大数据应用重复开发、大数据应用成本和技术门槛高、大数据应用无法适应变化业务的难题，满足企业用户的批量数据计算处理和灵活多变的大数据定制应用的要求。

系统具备项目管理、流程定制、任务设计、任务监控、元子管理功能：

项目管理：用户可以在系统中进行新增、修改、删除等项目管理操作，以及将定制的流程制定到相应项目中，以便进行项目-流程的归属管理。

流程定制：通过所见即所得的拖拽式操作，将流程最小的计算处理单元—“元子”拖拽到流程设计器面板区域，可进行流程自定 义定制，快速实现批量数据计算处理和大数据应用。系统界面提供流程参数设置，可优化流程的运行性能及系统资源负载。可以 对流程进行任务调度发布。

数据类型兼容性强，支持 MySQL、Oracle、SQLServer、PostgreSQL、Hive、HBase、MongoDB、 HDFS 等关系型、非关系 型数据库多种数据格式的输入、写出。

任务设计：可视化拖拽组合方式，实现平台创建的任务与多种常用脚本类型任务拼接组合，形成复杂的定制任务。可以设置流程 的任务发布，设置任务参数，任务参数包括：定时配置、失败选项、并行选项、流程参数等，以便对任务的并发和失败时的调度 策略以及定时统计任务进行设置。

脚本类型任务支持python脚本、Shell脚本、HiveSQL、Java程序、MapReduce Job、Sqoop Job等多种脚本类型的上传和任务组合设计。

任务监控：可以查看任务的基本信息，以及监控定时任务的运行情况，具体监控内容包括：

任务运行趋势：通过直观的任务运行趋势图展示，监控任务的相关指标变化情况，包括时长、记录数、文件数、错误记录 数、错误文件数等等。

任务监控列表：展示任务的运行情况，包括任务id、开始时间、结束时间、运行时长、运行状态、以及任务相关监控数据指 标等等。

任务运行日志：查看该任务的运行日志记录，以便运维监控和问题排查。

元子管理：元子是流程的最小计算处理单元，涵盖数据输入输出、数据转换、数据清洗、数据处理等大数据统计分析的各种处理操作。系统内置丰富的元子最大程度地满足多样化、复杂的、变化的大数据流程定制和业务数据应用。

智能BI:本系统为针对大数据体系中数据应用层部分打造的一款的智能BI分析工具，将大数据进行可视化，具有自助探索分析、自由拖拽、个性化报表制作的功能，同时具备图表控件丰富、多数据源支持、多终端支持等特点。

本产品为需求多变的个性化报表分析，提供自助式报表分析功能，减少了IT 开发环节。本产品是致力于大数据高效分析与展现的轻量级自助 BI工具，通过对数据源的连接和数据集的创建，用户可以根据需要通过拖拽操作完成对数据进行即席的分析与查询，快速形成直观的图表分析报表，提供多场景页面布局设计制作、图表编辑功能迭代优化，快速响应决策者的需求，提升业务管理能力。

多场景页面布局，自由拖拽、个性化报表制作：

1、内置标准图表控件，包括表格、折线图、柱状图、圆饼图、圆环图、地图、3D 地图、雷达图、气 泡图、指标卡、热力图、GIS 地图、百度地图标记点、迁徙图等丰富图表控件，直接拖拽可形成报表；

2、支持多组件查询联动和下钻联动等数据联动分析机制；

3、高性能即席查询：内置高速查询引擎（ES），亿级数据可实现秒级计算与查询。

4、内置丰富的主题和背景，以及支持个性化主题、背景设置；

自助探索分析、数据计算：

1、丰富的数据源接入：支持关系型数据库（MySQL、Oracle 等）、API 接口数据、静态 JSON、CSV 数据等；

2、数据分析：类 Excel 操作的电子表格；零 SQL 拖拽式的仪表板：包括数据筛选、转换、聚合运算、 排序、空值处理、新增维度/度量等；

3、支持编辑器二次数据筛选、聚合运算

客户价值

1、搭建了一套分布式的多源异构数据采集系统，实现异构或同构数据存储之间数据同步。系统支持灵活、随时随地的接入，可快速、方便对接电信其他相关系统的数据，为电信拓展多样化的业务综合分析提供有利条件。

2、实现对电信业务数据资产的全生命周期管理，为电信自有相关业务提供数据输出、支撑业务的数据分析提供了有力支撑，同时通过数据权限管理功能、数据稽查以及日志审计功能保证了数据的安全。

3、为推送业务提供智能决策，DPI省汇聚平台汇聚了统一推送的推送数据和各业务系统的展现数据，根据业务需要实现了业务各类指标可视化展示，并根据业务需要定期输出相关报告以供智能分析和决策模型，为推送业务推送到达率多维度分析、业务推送展现成功率多维度分析等优化提供强有力的支撑。

4、基于数治子系统实现了任务、流程定义的自主配置，基于可视化界面操作可根据实际需要灵活、快速的创建任务，满足各类数据处理需求。同时很好解决了大数据任务难管理、数据开发需求多变、开发技术门槛高、交付周期长以及成本高等问题。

5、具备BI报表灵活自定义定制和输出的平台能力，实现报表开发可视化，可自助探索分析、自由拖拽、个性化报表制作，满足丰富图表控件、多数据源支持、多终端支持的要求，为需求多变的个性化报表分析，减少了IT 开发环节。