在大数据技术背景下，网络安全平台建设

基于大数据技术的各种优势，在网络安全分析中得到了越来越广泛的应用。在构建网络安全平台时，需要科学设计其基础设施，严格控制关键技术环节，充分发挥其应用价值。

1.平台构架

基于大数据技术，网络安全平台分为四个层次，包括数据采集层、数据存储层、数据挖掘分析层、数据呈现层，四个层次功能不同，需要分别分析。首先，数据采集层主要负责采集各种类型的数据，包括即时数据、用户身份信息、日志等，实现方式为分布式采集。其次，数据存储层可以实现海量信息的长期保存，并采用结构化、半结构化、非结构化的方式进行统一存储，使用平衡算法在分布式文件系统上均匀分布实际数据[4]。此外，网络安全异常的发现和可追溯性是在数据挖掘分析层完成的。具体方法包括特征提取、情境分析、相关分析等，可通过检索和查询准确定位异常网络行为。最后，数据呈现层可以通过可视化的形式呈现大数据分析结果，并通过各种维度显示网络安全状态。

2.关键技术

在构建网络安全平台时，主要采用数据采集技术、数据存储技术、数据分析技术等关键技术。本研究所使用的数据采集技术包括本研究所使用的数据采集技术Flume，Kafka，Storm等，Flume它可以通过分布式方式收集和整理来源不同的数据，处理后传输到定制方。Kafka中应用了Zookeeper该平台可实现数据集群配置管理，可应用于高吞吐量的分布式订阅系统，平衡数据处理环节的系统负荷。数据采集完成后，采用HDFS分布式文件系统存储，容错性和吞吐量相对较高。使用元数据管理节点文件系统命名空间，数据文件保存到数据节点，基本存储单元为64兆字节的数据块。随着元数据节点的增加，数据文件会减少，两者之间存在反比关系。当同时访问多个文件时，会影响系统性能，HDFS分布式文件系统的应用可以有效地避免这一问题。在数据分析环节，平台使用的技术是Hivc，非结构化数据检索所用语言为HiveQL，与HDFS和HBase匹配性好。API采用封装Hive使用定制插件开发和实现各种数据处理、分析和统计。

将大数据技术应用于网络安全分析领域，不仅可以提高分析速度和准确性，而且可以降低技术成本它在许多方面具有显著的优势，是未来网络安全保护的必然发展方向。在实际应用中，应采用层次结构构建网络安全平台，重点控制数据采集、数据存储、数据分析等关键技术环节，改善当前网络安全分析的缺陷和不足，提高网络安全水平。