引言

在网络化和信息时代的背景下，人们越来越依赖互联网，但网络信息安全问题变得更加严重。近年来，网络安全事件并不少见，如2017年的老信用机构Equifax被黑客攻击，1.43亿用户信息被盗，全球爆发WannaCrypt勒索病毒等。面对日益复杂的网络环境和不断增长的数据信息，传统的网络安全保护技术已不能满足实际需要。充分利用大数据技术，建立网络安全平台，显著提高网络安全水平，是当前研究的热点。

1大数据技术在网络安全分析中的重要性

大数据技术具有数据量大、种类繁多、速度快、价值密度低的特点，在网络安全分析中具有较高的应用价值，其重要性体现在以下几个方面。首先，大数据技术可以扩大数据存储容量，满足大量数据安全分析的需要，分析多源数据和多阶段组合，确保计算效率和数据的完整性。其次，大数据技术可以对网络数据进行多层次、多精度的分析，明确数据之间的复杂关系，发现潜在的安全风险和风险，大大提高网络安全分析的准确性。第三，利用大数据分析技术，可以存储和分析异构数据，显著提高了网络安全分析的速度，短时间内发现和解决网络安全问题[1]。四是传统网络安全平台为结构化数据库，基于大数据技术的网络安全平台为分布式数据库，经济效益好，设备成本低，性能好，降低了系统维护成本和网络安全平台建设成本。

2.网络安全分析大数据技术实践

将大数据技术应用于网络安全分析，可以实现日志与流量的集中存储和分析，深入挖掘数据之间的关系，提高网络安全检测和保护能力。

2.1数据采集

网络安全分析需要依靠全面完整的信息数据。在应用大数据技术时，应首先完成数据采集。对于每秒数百兆的日志信息，可以使用Chukwa等工具采集；对于全数量数据，可采用传统的数镜方式采集[2]。

2.2数据存储

数据采集完成后，需要依靠数据库进行集中存储。在大数据技术的帮助下，当数据类型不同时，存储可以匹配，不仅可以确保数据之间的清晰分类，而且可以方便数据查询。当数据类型为即时数据时，可以使用列存储方法，首先使用流计算方法进行分析，然后存储结果。当数据类型为日志时，为了提高数据查询的效率，可以选择列存储方法来完成存储。此外，当数据标准化时，需要先处理，使用分布式计算方法，然后使用列存储方法。

2.3数据查询

将大数据技术应用于网络安全分析，就数据查询而言，可以依靠MapReduce完成[3]。系统发布查询指令后，在相应的节点位置完成处理，整合各种结果，然后通过得所需的数据信息。与传统的网络安全分析平台相比，该数据查询方法的指令响应和处理更快，大大提高了查询效率。

2.4数据分析

基于大数据技术的网络安全分析平台，当数据类型不同时，使用的分析处理方法也不同。首先，如果数据类型是实时数据，流计算主要用于分析和处理，CEP技术、相关分析算法等，可以及时发现潜在的安全风险和威胁。其次，如果数据类型为历史数据，统计结果不严格，可以离线处理，完成更深入、全面的分析，使用的方法主要是分布式存储和计算，不仅可以发现风险风险，还可以找到攻击的来源。

2.5复杂的数据处理

面对日益复杂和相关的数据，基于大数据技术的网络安全分析平台也可以更快、更准确地处理，包括多源异构数据、系统安全风险和相关攻击行为。以网络安全问题中常见的僵尸网络为例，借助大数据技术，它不仅可以从流量和DNS从访问特性出发，可以进行发散关联分析，结合各种数据信息，可以对数据进行多维、深入、全面的分析，保证数据处理的有效性。