安天产品巡礼（系列二）——探海威胁检测系统
时间 ： 2019年10月15日 来源： 安天
探海威胁检测系统是安天自主研发的网络威胁监测设备，以网络流量为检测分析对象，实现对网络扫描探测、远程漏洞利用、攻击载荷投放、僵尸网络活动、病毒扩散传播、木马远程控制等网络行为的检测和告警，能精准检测出已知海量恶意代码和网络攻击活动，有效发现网络可疑行为、资产和各类未知威胁。探海可与安天威胁情报服务结合，对多个APT攻击组织的载荷工具和C2基础设施实现带有精确组织指向的报告告警。
设备支持基于细粒度协议解析和还原留存的全要素采集能力，在实际工作场景中可以按照客户预设策略进行按需采集。设备的高速检测模式、全要素采集+检测模式、按需采集+检测模式和流量缓存等工作模式可以根据客户配置快速切换。针对还原文件，在安天AVL SDK下一代威胁检测引擎的支持下，进行海量恶意代码检测，并对所有还原对象进行格式识别和向量拆解，亦可投放到安天追影威胁分析系统进行联动分析。弥补了传统边界设备和入侵检测设备的检测深度不足，可以全面改善提升用户网络威胁发现，特别是海量已知威胁的精准判断和未知威胁发现能力。所有流量采集数据、文件拆解数据、分析数据均可通过标准接口提供给态势感知平台进行深度分析，为后续威胁分析、取证、溯源、猎杀等工作提供了必要的基础。
探海威胁检测系统可以为政府、军队、能源、金融、交通等行业客户持续提供监测能力，支撑客户的重大活动安全保障、高级威胁监测和安全事件响应。
[功能简介]
探海基于高速并行协议栈进行网络数据处理，基于综合网络行为检测引擎、AVL SDK下一代威胁检测引擎、TrustStream引擎、IoC威胁情报检测等组合机制，通过多维度检测手段，实现威胁的发现、威胁源头定位，并对扫描、攻击、传输、投放、控制、心跳、升级、窃密回传等各种攻击行为进行检测。同时，通过对网络元数据、网络传输数据、载荷行为数据等信息的全要素、细粒度记录，对潜在威胁、未知威胁实现提早发现，提升用户对定向攻击等高级威胁的发现和溯源能力，协助用户持续观测资产安全遭遇的威胁状况、预警网络安全事件，有力支撑用户网络安全应急响应工作。
探海经过安天十余年的自主研发积累，形成了在协议解析及文件还原、网络入侵检测、恶意代码检测、特别是高级威胁监测等方面的领先优势。安天长期研发自主先进的威胁检测引擎，并从2002年开始支撑国家相关部门进行大规模恶意代码疫情的监测处置，并从2010年将技术能力和分析应急的重心逐步转入到应对高级网空威胁行为体所发动的APT（高级持续性威胁）中，在高级威胁发现、分析、溯源方面取得了一系列进展；在威胁情报方面，安天基于大规模主动捕获感知环节的部署、海量样本与事件自动化分析体系和样本与威胁情报交换体系，形成了对多源异构样本和数据源的采集、分析、处理能力，形成了从信标规则到TTP情报的生产体系。这些均为探海的产品能力提供了有效支撑。
[场景适配和部署方式]
⊙内网场景：
探海部署连接在客户内网中交换机的镜像端口，即可监测到对应网段的威胁活动，监测发现内网感染源、不明资产和端点，发现恶意代码传播感染、内网扫描探测、横向移动、窃密传输和及其他可疑通讯行为。
⊙互联网出口部署：
探海部署到用户网络出口交换机的镜像端口，即可监测到经过用户网络出口的各种威胁活动。
⊙骨干网部署：
探海有专门有针对运营商级别高带宽网络进行优化的型号版本，可实现骨干网的级别威胁检测。在大带宽场景下，采集率高、载荷还原完整。同时基于多维度检测能力，在仅有单向流量或采样流量的条件下，同样能达成一定的威胁监测发现效果。
⊙便携式部署：
探海有便携设备载体版本，可以由网络管理人员和安全工程师随身携带，辅助进行威胁检测、诊断、评估等工作。
⊙分布式探针模式：
探海支持探针模式，实现多级分布式部署，并通过管理中心或态势感知平台进行集中管理，实现多点监测、统一分析呈现，从而支持对关键信息基础设施客户对多分支机构的部署管理，支持网络安全监管方多点部署和统一分析研判。
⊙分析联动：
探海可以与安天追影威胁分析系统联动，探海还原的文件载荷投放到追影中进行深度鉴定分析，追影通过自动化生成的C2等情报规则，直接反馈到探海转化成自动定义规则集合，由网管配置自动生效或人工审核生效。从而实现不依赖原厂支持的局部规则和情报应用能力。对应事件载荷的追影分析报告可以在探海界面无缝查看。
⊙产品组合部署：
针对中小规模客户，基于探海、追影、智甲的组合部署，可以形成轻量级防御方案，借助安全管理中心，组成以“发现、分析、处置、确认”防护基本闭环。
⊙动态综合解决方案与态势感知支持：
在安天动态综合解决方案中，探海承担流量信息采集、检测、标识的基础支撑作用。为态势感知平台提供流量侧的基础信息观测要素支撑。
[特点优势]
⊙多层次多维度检测，提升威胁发现能力
探海可从包、流、会话、协议元数据、网络行为、文件、文件行为等多个层次对采集的数据进行检测，获得资源信誉、威胁名称、核心行为、关联信标标签化结果等多维度信息，发现处于不同攻击阶段的威胁活动，如检测攻击者在正式行动前的扫描探测活动，漏洞利用突破行为、钓鱼邮件投递、勒索软件诱骗下载等恶意代码传输行为，以及命令控制通道建立、信息泄露等。
载荷检测上，探海依托安天自主研发的下一代威胁检测引擎，可实时检测网络蠕虫、感染式病毒、木马、后门工具、间谍软件的投放以及各类扫描攻击、DDoS攻击等，并准确提供病毒类别、病毒名称、病毒变种版本、病毒风险级别和病毒能力等相关信息，帮助用户获得最准确的判定结果。
同时，基于该引擎，探海在不使用动态沙箱的情况下，提取出代码中的行为信息、API序列等向量信息，形成对恶意代码在一定程度上的揭示能力。丰富的数据可有效支撑态势感知系统，为关键威胁揭示以及态势跟踪提供数据基础。
⊙支持威胁框架展示，掌握威胁事件进展
探海可通过对威胁事件向ATT&CK、NSA/CSS网空威胁框架进行阶段映射，对行动准备与筹措（Preparation） 阶段的网络测绘、设备扫描、网站爬取、网站植入等各种网络侦查活动、接触目标与进攻突防阶段（Engagement）的异常网络设备连接、数据库注入、恶意邮件发送、远程访问利用、远程漏洞利用等行为；持久化驻留潜伏（Presence）阶段的多种内部和横向移动行为以及全程持续支撑作业（Ongoing Processes）阶段的多种命令与控制活动进行有效检测，使用户快速察觉威胁状态及攻击进展，并提供精准、丰富的监测信息，指导用户在攻击活动进入致效能力运用（Effect）阶段之前，通过针对性的恶意代码定点清除、漏洞修复、防火墙策略更改等方式，针对突防后处于潜伏状态的威胁进行猎杀，防止威胁造成进一步的影响，有效支撑用户侧的网络威胁检测响应（NDR）。
▲支持网空威胁框架展示
载荷检测上，探海依托安天自主研发的下一代威胁检测引擎，该引擎可实时检测网络蠕虫、感染式病毒、木马、后门工具、间谍软件的投放以及各类扫描攻击、DDoS攻击等，并准确提供病毒类别、病毒名称、病毒变种版本、病毒风险级别和病毒能力等相关信息，帮助用户获得最准确的判定结果。
同时，基于该引擎，探海在不使用动态沙箱的情况下，提取出代码中的行为信息、API序列等向量信息，形成对恶意代码在一定程度上的揭示能力。丰富的数据可有效支撑态势感知系统，为关键威胁揭示以及态势跟踪提供数据基础。
⊙丰富的协议解析及全要素留存，支撑威胁追溯能力
探海使用基于通讯内容的协议识别方法，支持对常见协议的识别与细粒度解析，其中包括HTTP、SMB、POP3、VLAN、DNS等；利用流式协议解析技术，有效提高了数据包解析的效率，减少丢包的概率；支持ACK包丢失容忍、乱序包整理、MTU变化自适应以及对巨型帧的解析处理，从而更好支持用户不同特点的流量环境。
探海在对网络流量中的数据进行协议解析、威胁检测的过程中，采集网络元数据（如IP、域名、端口等），应用层传输要素（如HTTP URI、USER-AGENT、邮件收发件人、主题等）,载荷对象要素（如文件名、HASH、文件格式等）、载荷行为要素（如下载器、加密、发送版本信息等）、威胁判定要素（如威胁检出对象、威胁名称、攻击组织等）、内置大量知识化标签（如DDoS、跨境通讯、带链接邮件）及自定义标签等要素信息，并进行全要素的留存，同时，探海支持使用SYSLOG、Kafka、NSQ、HTTP POST方式与第三方设备进行数据联动。 探海的全要素留存优势，相比传统的只记录“五元组+威胁名称”的方式，能够更有效地支撑威胁研判、追踪溯源、线索挖掘；相比全流量缓存记录的方式，则更易于分析和关联，有效提高用户现场高级威胁的发现和识别能力，为后续威胁分析溯源提供全面的数据支撑。
⊙多事件关联分析，提高威胁分析效率
传统流量侧威胁检测设备多数以单包或流为检测对象，难以有效揭示事件间的关联，同时又会在类似大规模扫描探测、DDoS攻击中遭遇事件淹没。探海可基于恶意代码传播关系、命令与控制关系、恶意文件关联、漏洞利用关系、时序关系等维度，进行网络侧威胁事件自动化关联分析和威胁等级的初步判断，生成详尽的分析报告和图示化的结果，有效减少人工关联分析的工作量；另一方面，基于安天下一代引擎和威胁情报服务输出攻击载荷、攻击资源的相似性可以定位攻击者并挖掘更多线索。
▲探海关联分析效果展示
探海同时支持用户基于自身经验，对系统自动产生的告警进行多种干预，如风险级别调整、误报屏蔽，对攻击者的关联活动进行归并，从而更好地跟踪网内攻击者活动，辅助用户制定对攻击活动的处理策略，与其他设备联动阻断关键威胁。
⊙场景化规则能力，构建攻击者难以预知的检测策略
在攻击者越来越容易通过公开渠道获得安全厂商检测资源的背景下，厂商的安全检测能力越来越容易被针对性绕过。探海引入用户自定义场景规则，形成不同客户和不同部署场景下检测能力的针对性和差异性，增加攻击者预测和检验难度，增加绕过成本，提升对纵深威胁的检测能力。
用户可基于探海留存的全要素记录，包括网络元数据，应用层传输要素,载荷对象要素、载荷行为要素、威胁判定要素、内置知识化标签及自定义标签等，依据自身的流量情况、网络业务、安全目标等场景特点，通过组合不同的要素对象，形成自定义场景检测规则。例如，通过设定“跨境通讯”标签、“邮件通讯”标签、“文件格式为文档”、“载荷具有启动powershell的行为能力”这些要素的组合，可以构成基于邮件投放的无实体文件攻击的场景检测规则；例如，可以通过组合IP要素（筛选条件为IP属于业务区段IP）、“跨境通信”标签、“非正常协议端口”标签，构成高敏感单位场景的威胁检测规则。
不同的部署场景下，也存在不同事件的风险等级差异。例如，“下载了扩展名与真实格式不符文件”的事件，对于办公场景事件风险等级较高，但在骨干网和运营商监测场景，此类事件有较大比例为正常事件，则属于低风险等级事件。安天提供的场景模板，可以协助用户较为灵活地进行风险等级调整，提升风险响应的效率，节省响应资源。用户亦可根据自身监测情况，手动调整原厂规则和自动以规则告警的事件等级。
同时，探海支持通过持续将人的经验转化为适合用户私有场景的自定义检测规则，该规则不同于安全能力厂商自带的规则集，可有效规避攻击者对厂商能力的研究拆解，从而构建攻击者无法预知的检测防御策略，形成私有化、定制化的威胁对抗能力。例如，某单位曾经遭受过来源服务器IP地址位于巴西的恶意邮件攻击，通过重组攻击事件重要要素（跨域邮件标签、源ip国家为巴西），构建防御场景，当再次发生类似事件时，用户可以立即采取相应的处置策略。
▲构建场景化规则及规则命中
⊙开放式扩展能力，快速集成威胁情报
探海不仅持续为客户提供威胁检测引擎规则升级、威胁情报服务、威胁情报追溯包等服务，也同时支持客户进行灵活地规则和情报扩展。
从流量监测角度，探海不仅支持用户自定义扩展IP、域名、URL等规则，更支持兼容SNORT格式规则的导入，从而可降低操作者对规则扩展的学习使用成本，保护用户对已有安全规则的投资；探海支持SNORT规则的编辑和启停，基于自身使用场景特点，更好地管理规则。
从载荷检测角度，探海不仅支持用户扩展HASH规则，同时支持用户基于安天引擎的规则扩展接口，支持对安天引擎对载荷文件的向量提取结果的规则扩展，包括但不限于“关键字符串”、“文件签名特征”、“互斥量”等等，同时支持YARA规则扩展。
探海支持STIX威胁情报导入，增强自身检测能力；同时，可与用户现场其他STIX格式兼容的安全设备导入同批次情报，形成对有关联的威胁活动的协同检测与响应。
对于专家型客户，探海提供了决策树级别深度规则扩展规则，基于全要素采集、细粒度协议解析和下一代检测引擎所形成的标识，用户可以添加相关的逻辑关系表达式规则。
▲支持snort规则导入
▲Snort规则命中
[国产化载体支持]
探海载体有X86版本，同时有基于龙芯、神威两款国产化平台版本。
[客户案例]
安天探海威胁检测系统已在政府、军队、交通、金融、能源等行业广泛投入使用，典型案例包括：
骨干网级别恶意代码监控预警解决方案
安天为此提供了一整套综合威胁监测分析管理解决方案，其中探海作为前端探针分布式部署到关口节点，通过流量捕获威胁事件，后端通过追影威胁分析系统集群化部署实现威胁分析和情报生产，构成了前端感知、捕获及追溯体系的数据基础，并与方案内其他环节相互配合，支撑大规模恶意代码疫情事件的应急处置。
某电力企业大规模网络威胁项目
该客户分支机构众多，地域跨度遍布全国。安天基于探海探针模式分布式部署策略，一期项目通过近百台探针部署，实现了对其总部和主要分支机构重要网段的分布式覆盖。实现了对分布式探针节点的集中管控和统一的风险日志分析。实现了内网、各分支机构出口流量的实时威胁检测、全面监控内网威胁状态、及时发现内部受到攻击资产和内部威胁扩散源头。实现了全网信息资产和监控情况的可视化实现。及时发现内部大量安全事件，并在安天协助下处理了多起高危安全事件，并在重大疫情和漏洞出现时，随时添加和调整监控规则和事件，增强了风险防范能力。
某部委信息中心反APT解决方案
某部委是作为既涉及国计民生又处理海量重要信息的关键机构，是境外APT攻击的重点目标之一，在已有安全产品和防护环节基础上，需进一步增强APT检测防御能力。安天针对客户的具体防护需求，提供探海威胁检测系统与追影威胁分析系统联动使用的解决方案。探海作为探针实时检测网络流量，追影作为鉴定分析设备用以增强未知漏洞触发和未知威胁检测能力和生产威胁情报。项目部署后，有效的发现攻击载荷投放，并成功预警了基于远程模板的格式文档构造攻击。有效提高了相关部门对威胁的检测、分析、发现能力，缩短了威胁响应时间。
某电信运营商移动互联网恶意程序监控系统项目
运营商客户为了掌控移动互联网恶意程序疫情，有效遏制管辖范围内的移动互联网恶意程序扩散、保障移动互联网安全，在省级CN2省干核心节点上部署探海。探海系统部署后针对移动通讯流量进行监测，日均报告恶意代码事件超过20万；支撑了客户对恶意代码活跃家族、感染数量、传播方式、危害形态的分析统计，及时协助客户定位传播源头，辅助客户封堵威胁来源，帮助客户与相关的应用商店进行联动处置。
附1：探海产品部分资质及荣誉
●计算机信息系统安全专用产品销售许可证（增强级）;
●军用信息安全产品认证证书（军B级）;
●涉密信息系统产品检测证书;
●2018年荣获由国家互联网应急中心（CNCERT/CC）举办的中国网络安全技术对抗赛网络流量分析引擎比赛一等奖；
▲2018年中国网络安全技术对抗赛网络流量分析引擎比赛一等奖证书
●2018关键信息基础设施安全优秀产品、解决方案评选中获“补天奖”优秀产品之应用前景奖。
附2：探海产品/技术历史沿革
■2002年，安天承担了为骨干网侧研发全规则恶意代码检测引擎的科研任务，通过技术攻关，在当时协议还原无法支撑流量线速的情况下，安天人另辟蹊径，重新编写了包级别的高速匹配引擎，并重新提取了上万种恶意代码的硬匹配规则，最终实现了万级别规则集，单点设备2Gbps全流量实时监测能力。该系统被命名为P-A，堪称安天探海的最早雏形。
■2004年，完成第一版产品化定型，产品命名为VDS（Virus Detection System，病毒监测系统），次年成为首款通过公安部监测类反病毒测试的产品。
■2006年，使用安天相关技术的系统通过鉴定，获得省部级科技进步一等奖。
■2012年，VDS-H型号获得发改委信息安全专项《IPv6下一代互联网信息安全产品》立项支持，实现了在20Gbps条件下，单台设备对IPv4/IPv6流量的全协议还原检测。
■2013年，基于部署VDS的相关系统日志回溯，安天发现白象”APT攻击组织“在2012年对中国高等院校的攻击（请参见《白象的舞步——来自南亚次大陆的网络攻击》），并在2014年《计算机学会通讯》发表的技术文章中进行了事件披露。
■2015年初，产品中文名称正式确定为“探海”，产品英文名称更改为PTD（Persistent Threat Detection System），成为安天向前台市场转型的主力产品之一和动态综合安全解决方案体系的能力组件。
2015年3月，基于探海在某客户发现的加密跨境通讯可疑行为，安天发现了某境外组织的APT攻击活动并进行跟进分析，于2015年5月27日发布报告《一例针对中方机构的准APT攻击分析》，揭露了中南半岛某国使用商用攻击平台Cobalt Strike对我国进行的定向攻击活动。
■2018年，安天下一代威胁检测引擎首先在探海产品应用。
■2019年7月，探海初步实现了对ATT&CK和NSA/CSS两种威胁框架的支持。