大数据安全分析10:复杂事件处理(CEP)简介

复合事件架构是由史丹佛大学的David Luckham与Brian Fraseca所提出,使用模式比对、事件的相互关系、事件间的聚合关系,目的从事件云(event cloud)中找出有意义的事件,使得IT架构可以更能弹性使用事件驱动架构,并且能使企业更能快速的开发出更复杂的逻辑架构。

在事件驱动架构下,结合简单事件、事件串流处理(Event streaming processing)以及复合事件(Complex event)。相较于简单事件,复杂事件处理不仅处理单一的事件,也处理由多个事件所组成的复合事件。复杂事件处理监测分析事件流(Event streaming),当特定事件发生时去触发某些动作。

复杂事件处理与安全分析

近年来,安全设备中产生的日志数据大幅增加,这些数据形成了一个个“安全防御孤岛”,无法产生协同效应,因此如何处理这些数据成为一个急需解决的问题。
从这里引用复杂事件处理的概念,能够实时地从源源不断的海量数据中提取出感兴趣及更高层次的信息,出现了复杂事件处理系统,用户预先在系统中定义需要检测的复杂事件模式。
具体的一种案例模式来说就是对日志数据进行以源IP、目的IP、类型等维度进行复杂的关联分析处理、包含去重、合并等对原始日志数据进行筛选、统计、关联分析出具有威胁的日志数据。

事件指的是什么?

在日常生活中,一个“事件”表示事情的发生,在复杂事件处理(CEP)中,“事件”是一个指向计算机处理的对象,它标志或者记录某个发生的活动。

简言之,事件是系统中某一活动记录的对象。事件标志着活动,一个事件可能和其他事件间存在关联。一个事件包含了三个方面。
▼▼事件的“形式”:
事件的形式是一个对象,它由特定属性和数据组成。
一个形式可以是简单的一个字符串或者更经常是一个多种数据组成的逻辑元组。
一个事件的数据组成可以包含对该事件意义和关系的描述,比如活动的时间、地点、执行人员等。
▼▼事件的“意义”:
一个事件标志着一项活动,把这个活动称之为事件的意义。
一个事件的形式中,经常包含描述该事件所标志的活动的数据。
▼▼事件的“相对性”:
一个活动可以通过时间、因果关系和集合与其他事件关联。
事件和其他事件之间和他们所指的活动一样,也存在着联系,一个事件和其他事件之间的关系合起来称为事件的相对性。
一个事件的形式中经常包含事件关系的编码,也就是包含了可以被调用的函数,用以重构该事件与其他事件的关系集合。

事件的时序、因果和聚合

事件之间有事件、因果和聚合三个最普遍最基础最重要的关系。

▼▼时间关系:
时间是事件之间的顺序关系。例如事件A发生在事件B之前。事件之间的关系依赖于时钟。
一般来说,当一个事件的活动发生时,这个事件就会产生并且从时钟读取信息作为该事件的时间戳。
▼▼因果关系:
如果A事件所指向的活动发生之后B事件发生,那么A导致了B。这里定义的因果关系是系统中活动的依赖关系。
如果一个活动发生仅以别的其它活动发生为条件,该活动便依赖于这些活动。在这个意义上,我们说如果活动B依赖活动A,那么A导致了B,相反,如果A和B互不影响,那么A和B是独立的。
▼▼聚合关系:
如果事件A指向的活动包含了一系列事件B1,B2,B3,...的活动,那么A就是所有事件Bi的一个聚合,相反地,事件Bi是事件A的成员。
聚合是一种抽象的关系。一般来说,当事件集合{Bi}发生的时候,事件A产生。
事件A是一个高级别的事件,它对应着一个复杂的活动,这个活动包含了系统中聚合事件所指向的所有活动,称A为复杂事件,它的成员{Bi}导致了事件A的发生,A事件是一个和Bi事件都不相同的事件。

扩展  ·  本文相关链接

· 大数据安全分析09_关联分析简介

· 大数据安全分析08_大数据处理框架介绍

· 大数据安全分析07_大数据存储技术介绍

· 大数据安全分析06_数据解析技术

· 大数据安全分析05_数据采集技术

· 大数据安全分析04_数据传输方式

· 大数据安全分析03_数据采集对象与数据类型

· 大数据安全分析02_大数据安全分析技术框架

· 大数据安全分析01_为什么要用大数据技术进行安全分析?

(0)

相关推荐

  • 陈纯:网络安全将进入实时智能攻防新时代

    "大数据的价值不仅仅体现在'大'上,与普通数据相比,它最大特点是带有时间戳." 陈纯 浙江大学教授.中国工程院院士 什么是时序大数据? 大数据时代的到来使得领域和行业边界愈加模糊, ...

  • 学生时代写作文,老师都要求写有典型意义的事情,可我们总爱按时间顺序写成流水账。

    作者 | 倚伏1 来源 | 孔夫子旧书网动态 是啊,现在想通过学生作文和日记了解学生和学校的日常生活,感觉挺难.无独有偶,再说看电影吧,对宏大的战争场面记忆犹新,可如今一想,战争终究是由普通人承担的, ...

  • 因果关系及意义

    因果关系是最常见的一种必然性关系.是说事物发展的一种逻辑关系,这种关系是指自然规律,客观规律,社会规律,科学规律等的必然反映.用浅显易懂,通俗又形象的说法就是:种瓜得瓜,种豆得豆,种瓜不会得豆,种豆不 ...

  • 持久战第1302天

    持久战第1302天 01 生活  码字之前,默念一下自己需要坚持的目标,给自己洗脑,坚定自己的信仰  年三十了, 可惜下着雨,而且还有点大,于是放弃去锻炼,休息.我们的老祖宗为了吃而努力的劳动,结果使 ...

  • 大数据安全分析11:复杂事件处理(CEP)引擎简介

    目前已有的CEP引擎根据事件处理语言可以分为两大类:面向流和面向规则的CEP引擎. 面向流的CEP引擎有Microsoft Streamlnsight.Oracle CEP.IBM SPADE.Esp ...

  • 大数据安全分析09_关联分析简介

    大数据关联分析提供了基于规则.基于统计的关联分析功能,能够实现对于安全事件的误报排除.事件源推论.安全事件级别重新定义等效能. ▼▼关联分析简介 关联分析是在大规模数据集中寻找有趣关系的任务.这些关系 ...

  • 大数据安全分析08_大数据处理框架介绍

    大数据安全分析需要支持对接分布式数据库进行离线批处理分析,来实现长周期的网络安全.用户行为.业务安全分析,所以大数据平台首先需要支持批处理模式. 网络流量产生的实时数据往往是高吞吐量的,一个小型Mbp ...

  • 大数据安全分析07_大数据存储技术介绍

    鉴于网络安全数据组成的复杂性.规模,以及对实时搜索响应的需求,需要通过大数据存储集群快速实现空间的扩容,在PB级的安全数据中做到安全分析查询的秒级响应,同时需要为数据提供了冗余机制,保障数据的安全. ...

  • 大数据安全分析06_数据解析技术

    由于网络空间态势感知的数据来自众多的网络设备,其数据格式.数据内容.数据质量千差万别,存储形式各异,表达的语义也不尽相同. 如果能够将这些使用不同途径.来源于不同网络位置.具有不同格式的数据进行预处理 ...

  • 大数据安全分析05_数据采集技术

    大数据分析中的数据采集方式包括Logstash.Flume.Fluentd.Logtail等,本文对这几种数据采集技术进行简要介绍. Logstash Logstash是一个具备实时处理能力的开源的数 ...

  • 大数据安全分析04_数据传输方式

    大数据分析中数据传输方式包括SYSLOG.kafka.JDBC/ODBC.文件或FTP.Agent等方式,本文对数据传输方式进行简要介绍. SYSLOG syslog日志消息既可以记录在本地文件中,也 ...

  • 大数据安全分析03_数据采集对象与数据类型

    安全告警.系统与应用日志.网络流量以及资产漏洞.威胁情报等数据中,都包含大量有价值的安全信息,对这些分离的多源异构数据进行统一的采集与预处理,能够为网络安全大数据分析提供重要的数据基础. 日志数据 日 ...

  • 大数据安全分析02_大数据安全分析技术框架与关键技术

    大数据分析通过对安全告警.系统日志以及网络流量等海量多源异构数据进行采集.存储与分析,打破原有网络安全烟囱式防护模式,将所有安全防护措施与安全数据打通,解决网络安全防护孤岛和数据孤岛问题. 大数据分析 ...