您好, 访客   登录/注册

基于中间件技术的网络处理器气候大数据多级存储系统

来源:用户上传      作者:

  摘  要: 由于常规存储系统的存储容量低,以增加数据存储容量为目的,该文提出基于中间件技术的网络处理器气候大数据多级存储系统。通过气候大数据多级存储控制器设计和数据存储器设计,完成了系统的硬件设计;在接收数据读取命令后,采用中间件技术读取了网络处理器气候大数据信息,并结合气候大数据存储算法的优化设计,完成了系统的软件设计,实现了基于中间件技术的网络处理器气候大数据的多级存储。仿真测试结果表明,基于中间件技术的存储系统与常规存储系统相比,数据的存储能力更强。
  关键词: 网络处理器; 气候大数据; 多级存储系统; 系统设计; 中间件技术; 仿真测试
  中图分类号: TN926?34; TP311                  文献标识码: A                       文章编号: 1004?373X(2020)22?0053?04
  Abstract: As the storage capacity of conventional storage system is low, a middleware technology based multilevel storage system for climate big data of network processor is proposed to increase the data storage capacity. The climate big data multi?level storage controller and data storage are designed, and then the hardware design of the system is completed. After receiving the data read command, the middleware technology is used to read climate big data information of network processor. The software design of the system is completed by combing with the optimization design of climate big data storage algorithm. The middleware technology based multilevel storage for climate big data of network processor is realized. The simulation testing results show that, in combination with conventional storage system, the storage system based on middleware technology has stronger data storage capacity.
  Keywords: network processor; climate big data; multilevel storage system; system design; middleware technology; simulation testing
  0  引  言
  信息技术的发展使网络处理器逐渐从信息时代走向大数据时代,网络处理器对数据的处理和存储需求急剧上升[1]。生活和工作中的很多重要数据信息都存储在计算机中,有些企业存储的信息可能是商业机密,因此存储系统的好坏直接关系到企业的存亡,重要数据一旦丢失或损坏,一定会给企业带来巨大损失[2]。
  随着网络处理器中气候大数据的不断增长,大数据多级存储系统的高性价比和高可靠性变得越来越重要。传统的存储系统已经不能满足数据存储性能的需要,网络处理器一般都是利用比较复杂的气候大数据控制结构来开发应用程序内部的相应指令,这对于数据复杂、存储指令依赖明显的应用程序有着直接的效果[3]。从对气候大数据多级存储系统结构的需求来讲,数据多级存储需要的是一种简单的指令[4],复杂的控制逻辑无用武之地。
  针对传统存储系统的缺点,本文将中间件技术应用到了网络处理器气候大数据多级存储系统设计中,在不影响气候大数据查询和写入的情况下,实现网络处理器气候大数据的存储及整合,使气候大数据按照不同的查询需求进行不同方式的存储。
  1  网络处理器气候大数据多级存储系统硬件设计
  1.1  气候大数据多级存储控制器设计
  存储控制器可以控制气候大数据存储的速度,为读取数据提供更多时间,从而增加系统数据存储的容量。气候大数据多级存储控制器是由初始化數据控制模块、存储命令控制模块、气候大数据通路模块、气候大数据刷新控制模块以及模式控制模块组成[5]。其结构如图1所示。
  初始化数据控制模块可以设置网络处理器内部的参数,当系统启动时通过行列复用地址线实现参数设置;数据存储命令控制模块是整个存储控制器的核心,负责接收网络处理器的访问请求,并将请求信号转换成控制信号,还会根据存储控制器所处的状态来控制气候大数据通路的方向[6];气候大数据通路模块主要负责气候大数据存储操作的数据传输,通过采集网络处理器中的气候大数据信息,将其传输到向网络处理器返回数据的FIFO中;刷新控制模块采用计数器来控制系统刷新请求的发起,每一个刷新操作的时间间隔都是根据DDR设备更新后的时间进行计算的,当控制器进行刷新操作时,此模块不会发起其他操作,从而向控制器发出刷新请求[7]。   1.2  数据存储器设计
  数据存储控制器解析过的气候大数据字符长,常规存储系统不足以存储,必须设计数据存储器,增加系统的存储容量。存储器通过外部通道触发存储操作,完成对气候大数据存储信号的编码及存储,自动将存储方式覆盖[8]。完整的数据存储器是由遥测装置、数据读取装置和存储器组成,数据读取装置负责检测与控制整个数据存储器的工作过程。存储器主要负责网络处理器发来的气候大数据,并在气候大数据回收后将被存储的数据信号重现[9]。
  数据存储器选用ML6F78B3作为存储系统的主控模块,内部具有很多集成的RAM接收模块,数据存储器内部工作原理框图如图2所示。
  数据存储器的内部主要包括信号接收处理模块、信号采集控制模块、编帧模块、FIFO模块、数据输出控制模块等。其中,信号采集控制模块主要负责控制切换开关的模拟、通道采集气候大数据编帧的模拟,并将编帧后的气候大数据发送到FIFO模块;信号接收处理模块是根据具体的存储协议对网络处理器中的气候大数据进行采集控制;编帧模块是将其他不同模块的存储信号进行编帧,包括为存储信号添加帧头和帧尾以及帧计数等操作[10]。数据存储器的设计可以为后续的气候大数据处理提供方便。
  2  网络处理器气候大数据多级存储系统软件设计
  2.1  读取网络处理器气候大数据信息
  网络处理器中的气候大数据在存储过程中会失效,在数据存储之前必须先读取数据信息,以免数据存储空间不足导致数据存储失败。网络处理器气候大数据信息的读取包括数据复位、设置参数、气候大数据信息的读取及FLASH数据信息的读取[11]。网络处理器气候大数据信息的读取流程如图3所示。
  当接收到气候大数据读取命令时,系统要判断命令是否可以被执行,如果可以被执行,则根据复位流程对气候大数据信息进行复位操作,利用参数设置结果读取网络处理器气候大数据信息。
  2.2  气候大数据存储算法优化设计
  气候大数据存储算法通过实现布局优化达到增加系统存储容量的目的。数据存储算法根据网络处理器已有的气候大数据在存储体上的布局状态,选择合适的存储实体作为气候大数据存储目的地[12]。
  3  仿真测试
  3.1  搭建系统测试环境
  为了验证系统运行的可靠性,在中间件技术的背景下搭建气候大数据解析平台。在气候大数据解析部分,利用数据存储框架来实现系统的测试,系统测试环境部署架构如图4所示。
  3.2  测试过程分析
  测试过程中,设置不同的系统运行环境状态,包括模拟不同的系统运行速度、响应时间、内存大小。定义不同的系统运行环境条件,利用常规存储系统作为测试对比对象,进行仿真测试。其系统运行环境条件模拟曲线如图5所示。
  根据两种存储系统获取的数据信息,采用抽样分析的方法获取数据节点,并根据存储容量的计算公式,得出不同运行环境下的数据存储容量。
  3.3  实验结果分析
  根据两种存储系统在不同运行环境下获取的数据存储容量,得到存储容量对比结果,如图6所示。
  由测试结果知,同样存储1 000 B气候大数据,常规存储系统在存储过程中的存储容量都低于50 B,数据的存储率仅有35.8%;而采用基于中间件技术的存储系统,每一个数据库的气候大数据存储容量都接近90 B,数据的存储率达到92.3%。因此,可以得出基于中间件技术的存储系统具有良好的数据存储能力。
  4  结  语
  本文提出基于中间件技术的网络处理器气候大数据多级存储系统。系统硬件设计采用多级存储控制器和数据存储器,软件设计采用存储算法的优化设计。仿真测试及对比实验的结果表明,基于中间件技术的存储系统比常规存储系统的数据存储能力更强。
  参考文献
  [1] 刘斌.基于云环境下的海量大数据存储系统设计[J].电子世界,2017(18):99.
  [2] 潘力.激光数据存储系统的设计与实现[J].激光杂志,2018,39(5):156?159.
  [3] 郭天文,惠强,潘元洪,等.井下人员生理数据采集与处理系统设计[J].工矿自动化,2017,43(12):86?89.
  [4] 刘全飞,彭凌云.海量光纤通信数据的云存储系统设计[J].激光杂志,2018,39(8):183?187.
  [5] 郭会云,房俊,李冬.基于负载均衡的多源流数据实时存储系统[J].计算机工程与科学,2017,39(4):641?647.
  [6] 郁滨,冯力,龚碧,等.多密级交互存储控制器设计与实现[J].电子与信息学报,2018,40(1):18?24.
  [7] 盛贤君,许才,张亚鹏.基于交叉耦合结构的轮廓控制器设计[J].组合机床与自动化加工技术,2017(4):85?88.
  [8] 王彦光,赵元.电动轮车辆分布式控制系统设计分析[J].机械设计与制造,2019(7):9?12.
  [9] 李晓云,陈后鹏,雷宇,等.一种基于相变存储器的高速读出电路设计[J].上海交通大学学报,2019,53(8):936?942.
  [10] 孟博,王文廉.动爆环境下的多增益沖击波存储测试系统设计[J].电子技术应用,2017,43(9):83?86.
  [11] 石永彪,黄飞,杨龙,等.基于DM8148的红外视频采集存储系统设计与实现[J].激光与红外,2017,47(5):582?585.
  [12] 关兆雄.云存储下的混合存储算法设计[J].自动化与仪器仪表,2018(4):157?159.
  [13] 王东强,王晓霞.云存储中大数据优化粒子群聚类算法[J].电子设计工程,2017,25(2):26?30.
  [14] 韦存存.激光数据存储结构稳定性分布模型设计[J].激光杂志,2018,39(10):111?114.
  [15] 黄正鹏,王力,张仕学,等.基于传统遗传和数据压缩算法的冗余光纤数据存储优化[J].激光杂志,2019,40(3):135?139.
转载注明来源:https://www.xzbu.com/8/view-15363633.htm