日志安全分析方案梳理一二

业界方向

随着大数据技术的发展和各类依赖性技术的提高,日志分析系统已经由原来的分散存储、事后追查发展到统一收集、实时搜索和流式处理。

就目前而言,ELK在日志收集和查阅上已经占据了优势地位,其他同类型系统如Splunk等所占份额均在萎缩。又基于高可用和性能的需求,引入了KAFKA集群作为消息队列服务。同类型系统还有Flume,此处不对其原理和实现进行分析。

在日志分析上,分布式实时流处理已经是趋势,目前业界流行的有Storm、Spark Streaming、Samza、Flink等,份额及综合实力(包括但不限于背后开发商、文档和资料、语言优势、性能)占优的是Storm和Spark Streaming。以下详细针对这两个框架进行阐述:

Continue reading “日志安全分析方案梳理一二”

日志安全分析方案梳理一二