您好, 访客   登录/注册

基于大数据的多媒体弱关联数据智能压缩方法研究

来源:用户上传      作者:

  摘  要: 多媒体原始数据总量巨大,给信号的存储及传输带来很大困难,致使数据弱关联能力不断降低,为解决此问题,提出基于大数据的多媒体弱关联数据智能压缩方法。利用弱关联数据挖掘结果构建大数据查询集合,并对相关多媒体数据进行修补,完成基于大数据的多媒体弱关联数据查询。在此基础上,量化处理智能数據块,根据弱关联数据集的映射结果,确定压缩序列,实现基于大数据多媒体弱关联数据智能压缩方法的建立。对比实验结果表明,与一般性压缩方法相比,应用智能压缩方法后,信号数据的存储总量得到提升,单位传输速率也得到适当促进,为维护多媒体原始数据的弱关联能力提供了保障。
  关键词: 数据智能压缩; 弱关联数据查询; 大数据; 数据挖掘; 数据修补; 量化处理; 压缩序列确定
  中图分类号: TN919.5?34; TP397                   文献标识码: A                    文章编号: 1004?373X(2020)19?0102?04
  Abstract: In order to solve the problem that the huge amount of multimedia original data has brought great difficulties to the storage and transmission of signals, resulting in the continuous decline of weak correlation ability of data, a multimedia weakly?associated data intelligent compression method based on big data is proposed. The results of weakly?associated data mining is adopted to build the big data query set, repair the related multimedia data, and complete the multimedia weakly?associated data query based on big data. On this basis, the intelligent data blocks are processed quantitatively, and the compression sequences are determined according to the mapping results of weakly?associated data sets, so as to realize the establishment of the multimedia weakly?associated data intelligent compression method based on big data. The results of contrast experiment show that, in comparison with the general compression methods, the intelligent compression method can increase the total storage amount of signal data, promote the unit transmission rate appropriately, and provide a guarantee for the weak correlation ability of multimedia original data.
  Keywords: data intelligent compression; weakly?associated data query; big data; data mining; data patching; quantitative processing; compressed sequence determination
  0  引  言
  数据压缩是一种新型的数据重组方法,在确保不出现有用信息丢失的前提下,缩减原始数据总量,并以此达到控制数据存储空间的目的,在提高数据信号传输效率、数据信号处理效率等方面具有极强的促进作用。常见的数据压缩包括无损压缩、有损压缩两大基本类型。在计算机云计算领域,数据压缩、源编码等操作都是利用数据位元表示关联信息的物理过程,且在整个操作过程中,数据位元结构始终作为其他信息的相关表示单位。无论何种形式的网络通信,只有在信息发送方和接收方同时理解关联编码机制的情况下,数据压缩手段才能保持良好的工作状态[1?2]。数据压缩操作的实质其实是文件压缩,所谓数据只是泛指任何具有数字化能力的信息,包含计算机网络中涉及的所有文件类型。但在特殊情况下,数据则专指具有时间特性的文字信息。这类待压缩信息常被用以进行即时采集或传输。在过去很长的一段时间内,我国相关研究领域依靠SAR技术对多媒体数据进行矢量化处理,再利用BAQ算法获取其中的主要节点信息,并根据均匀量化法则对其进行深入的压缩处理。但随着多媒体原始数据总量的不断增加,这种方法影响下的信号传输及存储行为始终不能达到预期水平,进而造成数据间的弱关联能力不断降低。为避免上述情况的发生,在大数据理念的支持下,借助量化处理等手段,建立一种新型的多媒体弱关联数据智能压缩方法,并设计针对性实验,突出说明该压缩方法的实际应用价值。   1  基于大数据的多媒体弱关联数据查询
  基于大数据的多媒体弱关联数据查詢是新型智能压缩方法建立的基础环节,在弱关联数据挖掘、查询集合构建等步骤的支持下,其具体操作方法可按如下流程进行。
  1.1  弱关联数据挖掘
  弱关联数据挖掘是查询算法实现的基础操作步骤,在面对总量庞大的多媒体原始数据时,可根据相邻数据组织间的联系紧密程度,确定精准的信息特征维度条件,并根据其中的约束条件,对待处理的多媒体数据进行重排处理。简单来说,弱关联数据挖掘是一项促使信息连接打破再重新排列的应用处理手段。在所有多媒体数据的信息联系能力都不发生改变时,弱关联属性成为影响数据排列的唯一物理条件[3?4]。所谓挖掘也叫适度连接,是将现存于大数据网络中的所有多媒体数据,按照一定关联影响进行对应连接,再整合所有完成连接的物理结构,将其进行打包关联,并设置专门的独立组织用以存储这类弱关联数据,等待下一次执行处理指令的连接申请。完整的弱关联数据挖掘处理原则如图1所示。
  1.2  大数据查询集合构建
  大数据查询集合是关于弱关联数据的挖掘存储空间,具备较强的物理承载能力,且不对其中所包含的数据信息数量进行严格限制。虽无明确限制集合内多媒体弱关联数据的具体数量情况,但常规情况下,满足压缩需求的集合结构中必须包含挖掘头信息、挖掘实体信息、挖掘尾信息三类基本数据类型[5?6]。所谓挖掘头信息是指直接接触弱关联数据挖掘结果的大数据节点,常表示为[ya];挖掘实体信息是对弱关联法则的深入解释说明,是大数据查询集合中不可或缺的重要组成条件,常表示为[yb];挖掘尾信息是压缩方法指定的主要物理依据,与多媒体数据总量、弱关联系数等物理条件均不产生直接关联影响,常表示为[yc],联立[ya],[yb],[yc],可将大数据查询集合表示为:
  式中:[t]代表大数据查询集合中的任意多媒体弱关联数据;[μ],[λ]分别代表两个不相关的大数据智能压缩指标向量,在特定情况下,[μ=λ]与[μ≠λ]同时成立;[e]代表与挖掘实体信息相关的幂次项系数。
  1.3  多媒体数据修补
  多媒体数据修补是在大数据查询集合的基础上,对最终智能化数据压缩结果提出的一项精确化限制要求,与弱关联数据挖掘相比,多媒体数据修补可直接针对大数据环境中的薄弱部分,并对其进行具有指向性的整合促进。在对多媒体弱关联数据进行修补的过程中,首先应该对大数据查询集合进行初步搜索,并筛选出其中的关键信息成分,再根据弱关联规则中对于压缩结果的限制情况,选择性地生成一个或多个修补备选数据包,其中不仅包含所有从大数据查询集合中选取的所有信息结构,也必须包含具有压缩索引功能的关联表单结构[7?8]。然后再将所有信息结构按照弱关联数据挖掘规则进行排列,以保证后续压缩处理过程中不出现明显的数据混乱行为。最后,再利用大数据媒体环境,对已经存在明显弱关联影响的数据结构进行压缩修补处理,进而提升信号结构的存储及传输能力水平。完整的多媒体数据修补流程图如图2所示。
  2  数据智能压缩方法的实现
  在大数据多媒体弱关联数据查询的基础上,按照智能数据块量化处理、弱关联数据集合映射建立、压缩序列确定的操作流程,实现基于大数据多媒体弱关联数据智能压缩方法的顺利应用。
  2.1  智能数据块量化处理
  智能数据块量化处理按照关联性程度对待压缩多媒体数据进行层次结构上的划分,通常情况下,弱关联程度相对较高的多媒体数据集合排列在前,弱关联程度相对较低的多媒体数据集合排列在后。所谓量化是在结构层次上对多媒体数据进行的关联性整合处理,既包含对大数据集合的初步压缩,也包含在剩余多媒体数据中筛选全新的弱关联结构,用以填补已被智能压缩操作消耗的大数据分子[9?10]。假设在不进行外界干扰的情况下,多媒体弱关联数据始终保持原有的存在状态,相连大数据结构间也不会出现明显的制约行为。但随着智能数据块量化处理手段的深入,多媒体数据间开始出现明显的弱关联影响关系,且随着整体大数据环境的不断变化,越来越多的多媒体数据开始离开原始位置,不断靠近与之保持弱关联影响的对应数据结构,进而形成多个明显的智能量化数据块组织[11]。详细的智能数据块量化执行原理如图3所示。
  2.2  弱关联数据集映射
  弱关联数据集映射是由多媒体大数据指向智能压缩数据体的定向关联行为,与数据块量化处理结果、数据修补结果等多项物理条件产生直接影响关系。简单来说,弱关联数据集映射可以理解为一种逻辑连接关系,在一般性关联法则的影响下,把散乱分布的多媒体大数据结构转换成可压缩的数据包形式,并将其与大数据查询集合中的数据参量进行对比,进而确定其中弱关联法则的影响程度,再根据判断结果,对所有多媒体大数据体进行分类整合转存,进而缩短信号数据传输存储所需的消耗时间[12?13]。从数值结构的角度来看,弱关联数据集映射中,必须包含与多媒体大数据结构类型相关的限制向量[k],并利用该指标向量规划后续压缩操作的实际数据步长值[h],联立式(1)可将弱关联数据集的映射结果表示为:
  式中:[g]表示弱关联数据集中的任意映射数值;[f]表示弱关联系数条件;[ω]表示弱关联映射的幂次项执行系数。
  2.3  压缩序列确定
  压缩序列是辅助多媒体弱关联数据进行智能压缩的核心影响条件,与数据集映射、大数据链模型等多项物理数值产生关联性影响。根据上文可知,数据集映射限定了多媒体大数据体间的弱关联影响水平,并以此为条件,限定后续压缩操作所需的数据性关联结果。大数据链模型是一种具备弱关联能力的物理向量条件,能够在限定大数据偏移情况的基础上,根据智能压缩法则的具体要求,选择性地执行这种数据层面的物理指令[14?15]。对于压缩序列结构来说,多媒体弱关联数据的存在与普通大数据结构并无本质性区别,只不过在关联性法则的作用下,原始数据能够在更短时间内趋向于与其自身相关的定向数据结构,进而缩短后续压缩处理所需的物理应用时间,达到促进快速传输的目的。设[s1],[s2]代表两个不同的多媒体数据弱关联系数,联立式(2)可将智能压缩方法的压缩序列表示为:   式中:[c]表示智能压缩积分操作的下限数值;[R]表示与多媒体大数据结构相关的关联性条件;[v]表示一阶压缩导数;[?]表示二阶压缩导数。至此,完成所有数值准备工作,在上述理论依据的支持下,实现基于大数据多媒体弱关联数据智能压缩方法的顺利应用。
  3  实验与讨论
  为验证基于大数据多媒体弱关联数据智能压缩方法的实用性能力,设计如下对比实验。在确保外界影响因素不发生改变的前提下,以2台配置相同的计算机作为实验仪器,其中实验组计算机搭载智能压缩方法,对照组计算机搭载一般性压缩方法,在相同实验时间内,记录应用实验组、对照组压缩方法后,相关实验数据的变化情况。
  3.1  实验准备
  实验环境及相关实验参数配置情况见表1。
  出于公平性考虑,除所采用压缩方法不同外,实验组、对照组实验参数始终保持一致。
  3.2  信号数据存储总量对比
  在弱关联传导系数等于0.32的条件下,以50 min作为实验时间,分别记录在该段时间内,应用实验组、对照组压缩方法后,信号数据存储总量的变化情况,如表2所示。
  对比表1,表2可知,实验组信号数据存储总量呈现阶梯状上升的变化趋势,整个实验过程中的最大值达到8.1×1013 GB,與理想上限极值7.9×1013 GB相比,上升了0.2×1013 GB;对照组信号数据存储总量呈现上升、稳定、下降的变化趋势,整个实验过程中的最大值达到5.1×1013 GB,与理想极值7.9×1013 GB相比,下降了2.8×1013 GB,更远低于实验组数值。综上可知,在弱关联传导系数等于0.32的条件下,应用基于大数据多媒体弱关联数据智能压缩方法,可使信号数据存储总量不断提升,进而达到加强数据间弱关联能力水平的目的。
  3.3  数据单位传输速率对比
  在大数据压缩系数等于0.51,以50 min作为实验时间,分别记录在该段时间内,应用实验组、对照组压缩方法后,数据单位传输速率的变化情况,实验详情如图4所示。
  分析图4可知,随着实验时间的增加,实验组、对照组数据单位传输速率都呈现来回波动的变化趋势,在整个实验过程中,实验组数据单位传输速率的最大值达到4.3×109 GB/min,与理想极值3.0×109 GB/min相比,上升了1.3×109 GB/min;对照组数据单位传输速率的最大值仅为1.7×109 GB/min,与理想极值3.0×109 GB/min相比,下降了1.3×109 GB/min,更远低于实验组数值。
  综上可知,在大数据压缩系数等于0.51,应用基于大数据多媒体弱关联数据智能压缩方法,可使数据单位传输速率在整个实验过程中呈现均匀上升的变化趋势,为促进数据间弱关联能力水平提供保障。
  4  结  语
  在一般性压缩方法的基础上,基于大数据多媒体弱关联数据智能压缩方法,利用弱关联数据挖掘法则建立大数据查询集合,并对现有多媒体数据进行修补。从执行稳定性角度来看,随着这种新型压缩方法的应用,数据信号的压缩与传输能力均得到适度提升,由多媒体原始数据总量过大引起的信息弱关联能力降低等问题也得到有效解决。
  参考文献
  [1] 杨维,张弦,王乐之,等.基于小波变换特征提取技术实现用电负荷数据压缩与脱敏存储[J].电子设计工程,2019,27(8):104?109.
  [2] 孙丰杰,王承民,谢宁.面向智能电网大数据关联规则挖掘的频繁模式网络模型[J].电力自动化设备,2018,38(5):110?116.
  [3] 李慧静,金晓民,井雅,等.智能型红外遥控器中信号接收与压缩方法[J].计算机工程与设计,2018,39(4):1006?1010.
  [4] 邹月娴,余嘉胜,陈泽晗,等.图像分类卷积神经网络的特征选择模型压缩方法[J].控制理论与应用,2017,34(6):746?752.
  [5] 朝鲁,彭晓晖,徐志伟.变熵画像:一种数量级压缩物端数据的多粒度信息模型[J].计算机研究与发展,2018,55(8):1653?1666.
  [6] 陈晓,黄传金.n?FFT压缩感知降维智能方法及其在齿轮系统故障特征提取与分类中应用研究[J].机械强度,2019,41(1):26?32.
  [7] 张学显,刘伟,余彪,等.数据驱动的智能车辆目标检测能力测试评价方法[J].计算机系统应用,2017,26(11):249?253.
  [8] 阎博,张昊,郭子明,等.基于多源数据融合的电网故障综合分析与智能告警技术研究与应用[J].中国电力,2018,51(2):39?46.
  [9] 袁建虎,韩涛,唐建,等.基于小波时频图和CNN的滚动轴承智能故障诊断方法[J].机械设计与研究,2017,33(2):93?97.
  [10] 许学添,邹同浩.基于弱关联挖掘的网络取证数据采集系统设计与实现[J].计算机测量与控制,2017,25(1):123?126.
  [11] 李鹏飞,刘春宇,海军.云计算环境下关联性大数据实时流式可控聚类算法[J].科学技术与工程,2018,18(7):185?190.
  [12] LUO Wenchang, GU Boyuan, LIN Guohui. Communication scheduling in data gathering networks of heterogeneous sensors with data compression: algorithms and empirical experiments [J]. European journal of operational research, 2018, 271(2): 462?473.
  [13] ATEMKENG M T, SMIRNOV O M, TASSE C, et al. Using baseline?dependent window functions for data compression and field?of?interest shaping in radio interferometry [J]. Monthly notices of the royal astronomical society, 2016, 462(3): 2542?2558.
  [14] KUMAR A, KUMAR M, KOMARAGIRI R. Design of a biorthogonal wavelet transform based R?peak detection and data compression scheme for implantable cardiac pacemaker systems [J]. Journal of medical systems, 2018, 42(6): 102?105.
  [15] 樊庆富,张磊,刘磊军,等.基于偏移量计算的在线GPS轨迹数据压缩[J].计算机工程与应用,2017,53(8):254?259.
转载注明来源:https://www.xzbu.com/8/view-15329224.htm