基于大数据的情报态势感知技术

来源:用户上传      作者:

　　摘   要：文章以大数据技术为基础，在阐释了态势感知技术的前提下，将二者运用于情报工作的研究方向和发展现状做一说明。通过以大数据为基础的情报态势感知，可以使情报工作能够主动发挥优势，为决策提供可靠依据。
　　关键词：大数据;情报;态势感知;数据处理;预测
　　中图分类号： TP391.1          文献标识码：A
　　1 引言
　　信息化条件下的网络空间存在大量数据，如何通过大数据技术的收集、处理、描述、分析能力在海量数据中辨别出具有价值的信息，去伪存真，相互关联，再以此类数据为基础，洞悉风险、预测未来趋势，充分发挥情报工作“兵马未动、情报先行”特点，实现从情报到安全的最终目标，这是情报态势感知技术所要达成的目标。
　　2 态势感知及其内涵
　　态势感知（Situation Awareness）的概念最初形成于军事领域，其来源于战场指挥系统的工作模式，即通过已有数据对整个战场形势的复杂局面进行分析评估，进而做出预测，结合预测结论做出相应的反应。态势感知的过程，可以理解为其对所处空间和所在时间内的各种要素进行识别并理解，进而预测其未来状态的过程，主要分为三个层次，分别是感知（即知觉层—用来识别目标环境中各要素）、理解（即理解层—以知觉层为基础整体评价各要素对实现目标的关键性）、预测（即推测层—整个态势感知系统中最高的层级、以上两个层级的结论为基础，预测目标环境中各要素变化趋势和动作走向）[1]。
　　态势感知的技术应用主要体现在“感”和“知”上，也就是对目前状态及发展趋势的感受和认知，并服务于决策，同时对整个机制进行反馈修正。虽然态势感知技术来源于军事领域，但并不仅仅局限于此，其相关技术已广泛运用到与数据相关的各行各业，尤其是在复杂系统的安全决策方面起着至关重要的作用。
　　3 基于大数据的态势感知技术
　　数据是情报工作的重要来源，也是态势感知技术的基础。大数据技术带来了一场前所未有的技术革命，这不仅仅是字面意义所表现出的具有海量数据的数据库技术，而是在整个人类世界的思维方式和世界观方面所带来的巨大变革，即所有事物的描述、分析、处理都可以以数据化的方式进行。
　　与传统的数据技术相比，大数据技术通过其他诸如人工智能、网络技术、云存储、云计算、物联网等先进技术的支持，表现出数量大（即数据规模极其庞大）、类型杂（数据来源多样、结构类型复杂）、速度快（数据采集、传输和处理都可实现在线即时进行）、价值密度低（数据数量越大其价值密度则越低）等突出特点[2]。随着大数据时代技术的发展，网络环境瞬息万变，其特点都在情报工作领域逐一凸显，情报任务日益复杂，这不仅加重了情报工作者的负担，还使得情报用户不断降低对响应等待的容忍度，对情报工作提出了更高的要求。
　　传统的情报工作模式主要包括五个阶段的循环：（1）规划（确定目标及实现目标所需的信息类型）;（2）收集（收集不同来源的原始信息）;（3）处理（将原始信息融合处理成可用信息）;（4）分析（将可用信息通过整合、评估、分析等手段提炼出情报产品）;（5）递送（将情报产品交由需求方）。决策者获得情报产品后做出决策，其行动结果导致新的情报支持需求，这样就触发了下一轮情报工作循环程序[4]。可以看出，基于常规数据模式下的传统情报工作，情报工作者处于对某一任务的被动回应下，主动关注行为往往具有一定的局限性，这就造成了情报滯后于决策的局面，情报价值也大幅降低。要想将“情报现行”的优势发挥出来，就必须让情报工作行动于任务需求之前，也就是实现情报数据主动感知机制，即“行动早、预见远”，而将大数据技术融入情报感知处理过程就可以充分发挥其对海量复杂数据收集、处理、描述、分析的功能，大大提高情报工作效率，高效实现情报的可用性处理。
　　基于大数据的情报态势感知首先要对相关目标数据进行采集，筛选出具有价值的信息并进行储存，逐步形成一个与任务相关的大数据架构;其次，要利用各种目标规划、分析算法、数据模型的有效结合，对数据库中的可用情报数据进行更深层次的挖掘和分析，进而从这些数据中推算出任务态势和发展走向，辅助完成决策，最终实现情报任务的态势感知[3]。基于大数据的态势感知关键技术主要包括：
　　3.1 数据采集技术
　　建立大数据技术的主要数据来源有三种途径，分别是物联网系统、Web系统和传统信息系统。物联网的发展是导致大数据产生的重要原因之一，其产生的数据量占据了整个大数据百分之九十以上的份额，这些数据大部分是非结构化数据和半结构化数据，价值密度较低。而Web系统产生的数据则涵盖了大量价值化的数据，其与物联网数据的不同之处在于，Web系统的数据往往是结构化数据，且数据的价值密度比较高。传统信息系统也是大数据的一个数据来源，虽然传统信息系统的数据占比较小，但是由于传统信息系统的数据结构清晰，同时具有较高的可靠性，所以传统信息系统的数据往往也是价值密度最高的。
　　数据采集的主要技术：（1）数据库采集，利用各种数据库技术，实现不同类型数据库之间的数据同步和集成;（2）网络数据采集，借助网络爬虫工具或网站公开API，从网页获取非结构化或半结构化数据，并将其统一结构化为本地数据;（3）文件采集，包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等。
　　3.2 数据预处理技术
　　基于数据管理的工作机制，其最重要的基础性工作就是对数据采集阶段收集到的各种数量庞大、类型复杂、多源异构、时空关联范围广的数据进行整理和集中处理，将具有关联性的数据整合重构，进而提高数据的逻辑性和系统性。数据预处理技术主要包括：（1）数据清理是指利用ETL等清洗工具，对冗余数据、噪音数据、遗漏数据等进行去重和过滤，从而清除大量的无效数据;（2）数据集成是指将不同数据源中的数据，进行模式匹配、解决数据冗余和冲突后，合并存放到统一的临时数据库中的存储方法，这样便于数据调度和加载，为后续的数据分析及应用奠定基础;（3）数据关联是指根据业务规则将同一属性的数据相互关联，对其之间的关系进行梳理，形成数据关系图谱。 　　3.3 数据分析处理技术
　　在情报工作体系中引入态势感知技术，除了进行基础的情报数据处理以外，还要对感知到的信息进行关联度分析，提升数据深度挖掘处理以及分析水平，从而将原始数据高效转化为可用情报信息。数据分析处理技术主要通过数据挖掘算法和预测性分析来实现。
　　（1）数据挖掘算法。遵循任务规则，通过创建数据挖掘模型，对数据进行试探和计算的数据分析手段，是大数据分析技术的理论核心。数据挖掘算法多种多样，且因基于数据类型及格式的不同，相同算法也会呈现不同特点，但是其创建的过程都是以需求方提供的数据为基础，而后针对任务需求特定的模式和趋势进行查找，并用分析结果来定义挖掘模型的参数，应用于整个数据集。
　　（2）预测性分析。预测性分析是大数据分析最重要的应用领域之一，也是态势感知技术的核心。其通过多种高级分析功能，例如统计分析、预测建模、数据挖掘、文本分析、实体分析、实时评分、机器学习等先进技术的应用，帮助需求方分析结构化和非结构化数据中的模式、趋势和关系，并运用这些指标来预测未来事件，为决策提供依据。
　　4 情报态势感知前沿技术
　　情报态势感知技术能够充分发挥情报工作的先导性作用。在信息不完备的情况下进行态势感知，并准确预测事物发展态势，就必须强化数据处理模型的分析处理能力。情报工作相关技术研发水平代表着情报态势感知能力高低，对国家安全具有重大意义，其中美国的情报技术代表着全球最高水平。美国情报机构的技术孵化器LARPA（美国情报高级研究计划局）和提供国防安全技术保障的DARPA（美国国防高级研究计划署）所进行的情报技术研究可以体现出情报态势感知技术的发展方向[4]。
　　4.1 IARPA情报技术
　　IARPA利用全球事件中的全源数据进行感知，对事件发展态势进行超前预判，为决策者第一时间进行提示和预警，最大程度发挥了情报价值。其研究的项目主要可以划分成收集技术（Collection）、计算技术（Computing）、分析技术（Analysis）和超前情报技术（Anticipatory Intelligence）四个方向，与情报态势感知中的收集、处理、分析、预测环节紧密契合，与大数据技术密切相关，涵盖了自然语言处理、机器学习、数据融合处理等多个技术领域。
　　4.2 DARPA情报技术
　　DARPA下属的信息创新办公室所进行的信息技术研发工作主要集中在网络技术、分析技术、（人机）共生技术方面，为情报态势感知提供了有力的技术支持：（1）网络技术主要进行网络空间态势感知技術、网络威胁感知及应对技术的研究，开展网络攻击与防御，实现网络安全与信息保护;（2）分析技术以大数据为基础，进行分析技术、挖掘算法、软件系统的不断创新，帮助情报工作人员进行海量数据分析，高效实现情报态势感知;（3）（人机）共生技术利用计算机高速处理高容量的任务，通过机器语言使其具有与人脑类似的认知功能，通过各种数据之间的相互关联性判断出数据表现内在的发展趋势，对新生事物或将可能发生的事件作出明智的反应，是人工智能发展的必然趋势。
　　5 结束语
　　基于大数据的情报态势感知技术可以使情报工作充分发挥其优势，去粗取精、去伪存真、由此及彼、由表及里地收集整合情报数据，鉴别情报信息的可靠程度，确定其价值，探寻各种数据表象之间的内在联系，弄清来龙去脉，认清本质，揭示事件的真相和企图，为决策提供可靠依据，真正做到“兵马未动，情报先行”。
　　参考文献
　　[1] ENDSLEY M R. Toward a theory of situation awareness in dynamic systems[J].Human Factors，1995，37 （1）：32-64.
　　[2] 黄欣荣.大数据技术的伦理反思[J].新疆师范大学学报（哲学社会科学版）， 2015，36（3）：46-53.
　　[3] 汪茹洋，李鹏.试论大数据技术网络安全态势感知平台[J].科技创新与应用，2020（10）：23-24.
　　[4] US Intelligence Community. Intelligence Cycle [EB/OL].[20180401].https：//www.intelligencecareers.gov/icintelligence.html.
　　[5] 赵柯然，王延飞.情报感知的方法探析[J].情报理论与实践， 2018（41）：11-16.
转载注明来源:https://www.xzbu.com/1/view-15278344.htm