基于定时调度技术的数据质量管理平台设计与实现

来源:用户上传      作者:

　　摘 要：通过搭建数据质量管理平台，实现数据质量业务规则库管理、问题数据的多维可视化展示、问题数据闭环处理管理机制、数据质量知识库管理、实用化考核指标体系管理、指标、报表血缘分析等，从而有效促进业务系统数据质量提升。数据质量与实用化管理平台的调度功能采用Java多线程，数据库JOB技术，可以实现周期调度功能，同时通过对每次调度结果提供自定义报表服务，对信息数据进行分类统计，并开展横纵向分类比对，智能生成本地数据质量及实用化分析报告，实现问题数据的闭环处理。
　　关键词：数据质量与实用化;周期调度;智能分析
　　一、背景
　　随着业务系统数据量的日益增大，公司对系统的数据质量及实用化监控难度日渐提高，急需建立一个融合业务系统数据质量及实用化各项指标的平台，实现问题数据的发现、原因确认、跟踪解决、校验的全过程管理，提升业务系统数据质量及实用化水平。
　　二、设计原则
　　（1）规范化原则。按照省公司发布的数据质量及实用化考核规则、省公司信息安全要求等规范标准，进行业务数據抽取，确保数据抽取规范化。（2）实用性原则。项目建设要坚持实用性原则，充分考虑系统使用人员的实际工作需求，构建一个切合实际、能够高效解决问题的支持系统。（3）适应性原则。系统架构应具备良好的适应性，可通过灵活配置适应业务流程和业务逻辑的变化，满足业务功能的扩展，适应业务和信息化不断发展的需要。（4）可靠性原则。系统建设运行过程中，各类资源配置、措施、方案要满足系统可靠性要求，保证系统7X24小时不间断可靠运行。（5）安全性原则。应根据公司有关标准和系统实际需要，加强信息安全防护，确保信息的安全，满足国家、公司等各层面信息安全保护的要求。（6）持续完善原则。在系统应用过程中将会不断收集到用户的反馈意见，技术进步也将为系统功能的完善提供新的可能，系统必然要随着技术的发展进步和业务应用的深化进行持续完善。
　　三、系统功能框架
　　元数据管理：元数据模块维护了多个主营业务系统各个对象及其数据库表结构，对规则库管理、实用化指标功能提供最基础的数据服务。规则库管理：根据元数据管理中提供的业务系统表结构信息，对有建立指标的对象、字段进行合规性和完整性的定义。调度管理：调度功能可根据定义的时间，所选的规则进行问题数据的检查和指标值的计算。问题数据展现及下载：可按系统、对象、组织多个维度对调度指定规则所发现的问题数据显示、详细信息查看，并可以使用跳转功能，在问题源系统定位该数据。问题数据处理：利用工作流，将发现的问题数据通过系统定义，分派度指定的负责人处，进行处理。实用化指标展示：利用BIEE工具，分析统计调度规则生成的指标数据，通过柱状图和列表的方式，直观地展示实用化指标值以及当局总分情况及全省排名名次。数据质量报告：基于BIEE的前端展现及word格式附件的导出。
　　四、系统技术路线
　　这些系统间数据结构不同，每个系统对数据的审核的力度、审核的字段都不同等问题，造成了各系统出现的问题数据类型也不相同。为了更好地掌握各个系统的原始数据情况，数据质量管理平台采取不对业务系统源数据进行任何清洗，以原表抽取的方式，保存在ODS（Operational Data Store，即操作型数据存储）数据库中。数据抽取工作会对业务系统造成性能和安全上的压力，因此建立一个业务数据中间服务器，由业务系统向这个中间服务器传输数据。数据质量管理平台只对业务数据中间服务器进行抽取。元数据负责维护业务系统、业务对象、对象属性的基本信息、关联关系，维护各业务对象的数据源，即主数据，带流程的业务数据或不带流程的业务数据。数据质量管理平台项目采用B/S（浏览器/服务器）体系结构，架构于Java EE（Java Platform，Enterprise Edition）平台之上，实现不同平台间的数据同步。在B/S体系结构系统中，用户通过浏览器向服务器发出请求，服务器对浏览器的请求进行处理，将用户所需信息返回到浏览器。而其余如数据请求、加工、结果返回以及动态网页生成、对数据库的访问和应用程序的执行等工作全部由后台web服务器和应用服务器完成。Java EE平台是业务统一的企业级应用软件的技术架构。Java EE平台采用一个多层次分布式的应用模式。应用逻辑根据功能被划分成组件，组成Java EE应用的不同应用组件安装在不同的服务器上。
　　五、系统功能实现
　　（1）实现了定时调度技术。数据质量管理平台的调度功能采用Java多线程，数据库JOB技术，可以实现周期调度功能。数据质量管理平台根据指定的调度时间点或周期计划任务进行自动调度，无需人工干预，大大降低操作人员的工作负担;同时还可按需选择调度的系统，针对选定的系统计算相关的指标，生成问题数据。（2）实现了智能生成数据质量报告技术。数据质量管理平台对每次调度结果提供自定义报表服务，对信息数据进行分类统计，并开展横纵向分类比对，智能生成本地数据质量及实用化分析报告。（3）实现了UI交互的重设计。数据质量管理平台的特点是把用户80%的常用功能都放到主页上，实现“一个页面满足80%用户的需求”的理念。主页包含信息齐全，操作简单明了。（4）实现了业务规则库可视化与可配置。建立逐步完善的数据质量校验规则库，立足业务部门的日常业务活动，统一规则库的填报及审批流程，实现业务规则库的可视化和可配置。（5）实现了问题数据多维可视化展示。实现问题数据多维可视化，从不同层级、多个维度进行问题数据的全方位、多角展示与分析，增强数据展示的形象化与明细化。
　　参考文献：
　　[1]洪晓虹，陈忠义.浅谈信息系统实用化及数据质量管理[J].中国城市经济，2011（29）：214-216.
　　[2]吴永欢，孙煜华，廖嘉炜.信息系统实用化及数据质量管理研究[J].信息与电脑，2017（18）.
　　[3]刘冬阳.浅析供电企业数据质量和信息系统实用化[J].科技资讯，2013（29）：166-167.
转载注明来源:https://www.xzbu.com/1/view-15112774.htm