OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构,它是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合,能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目Hadoop,实时索引使用开源项目ElasticSearch,在线流分析使用著名的开源项目Storm。
关于 OpenSOC
OpenSOC 是思科在 BroCON 大会上亮相了的一个安全大数据分析架构,它是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。
但是其部署上和使用上可能对于大部分中小企业来说,消耗的资源和精力可能有点过于庞大。本文着重介绍如何轻量级实现 OpenSOC 框架,即使日后升级或者添加了 SEIM 也可以快速迁入。
OpenSOC 介绍
我们先来看一下 OpenSOC 框架
OpenSOC 框架组成
OpenSOC 框架主要包括六个部分
- 数据来源(Source Systems)
- 数据收集(Data Collection)
- 消息通知(Messaging System)
- 实时处理(Real Time Processing)
- 数据存储(Storage)
- 访问接口(Access)
OpenSOC 的工作流程
数据收集组件从数据来源收集日志等数据然后推送到消息通知组件,通过消息通知组件分发给对应的实时处理组件,由实时处理组件处理完后保存到数据存储组件中,最后由访问接口提供的 API 或者 UI 等.供给用户查看或者调用