生成式AI为安全产业带来新变量，可布局两大维度和四大象限

近日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》（以下称《办法》），自2023年8月15日起施行。《办法》的出台旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。

以ChatGPT为代表的大模型正在引领新一轮全球人工智能技术发展浪潮，深度改变行业生产力，也为网安行业带来了新变量。

安恒信息表示，将牢牢把握时代发展机遇，专注于人工智能结合网络安全的研究，以创新方式拥抱AI变化，积极推动产品AI智能化，推进“服务+AI”“治理+AI”“产业+AI”等应用场景安全升级，为数字经济发展注入源源不断的安全动能。

安全矛与盾：大模型的两面性

安恒信息高级副总裁、中央研究院院长王欣认为，在人工智能时代下，大模型技术存在着“矛”与“盾”的两面性。一方面，AI和大模型技术如“利刃”打破原有安全壁垒，安全需求与应用场景发生重大变革。

在与生成式人工智能交互的过程中，用户常常无意识暴露个人信息、商业机密等隐私数据，得到的却是暗藏平台价值判断的内容反馈。个体在认知判断、行为决策以及价值取向等多个方面，很可能会受到单一算法的不良影响。

因此，《办法》第三条、第四条在鼓励支持人工智能创新的同时，也强调了制定相应的分类分级监管规则或者指引的必要性。通过约束数据来源合法性、模型算法公平性、生成内容可靠性，引导AI持续向善。

从世界范围来看，为打造一个可信的人工智能生态系统，美国、欧盟同样在探索人工智能治理之道，并通过法律法规来约束人工智能发展。

另一方面，AI和大模型技术也促进了安全产品和服务革新，有助于网络安全防护“盾”优化升级。生成式人工智能能极大提高风险识别效率，在一定程度上弥补现有网络人才缺口，让威胁分析更准确、安全运营更高效、安全防护更智能。

AI+安全将成为生产新范式

两个维度，四个象限

横向维度：对抗双方视角，即攻击方视角和防守方视角。

纵向维度：AI 内生和 AI 衍生， 即自身脆弱性导致的内生安全问题，以及新技术出现提高相关领域势能后形成的衍生安全问题。

第一象限，AI 自身防御： AI 的业务、算法、模型、数据、平台的安全性增强。比如 面向数据的防御（对抗训练、梯度隐藏、阻断可转移性数据压缩），面向模型的防御（正 则化、防御蒸馏、特征挤压），AI 数据安全与隐私泄露防御（模型结构防御、信息混淆防 御和查询控制防御等），以及特异性防御、鲁棒性增强、可解释性增强等。

第二象限，AI 自身攻击：AI 的业务、算法、模型、数据、平台的安全性威胁。比如算 法模型的绕过攻击、推断攻击等，数据安全的数据毒化、模型输出数据泄露、梯度更新数 据泄露等。平台硬件、系统、软件等安全问题。

第三象限，AI 赋能攻击：攻击者利用 AI 而危害到其他领域。比如自动化网络攻击（合 成训练数据，特定推文攻击，自动化渗透测试），恶意软件编写分发，有害信息传播（针 对性和隐蔽性推荐），虚假信息内容制作（人造文本、语音、图像、视频），智能恶意代 码（内嵌深度神经网络模型提高供给隐蔽性），对抗机器学习（恶意样本绕过鉴别器，识 别失效）。

第四象限，AI 赋能防守：防守者引入 AI 提升其系统防御能力。比如智能安防监控（体 态识别与行为预测、知识图谱），智能入侵检测（无监督聚类+有监督反馈，对抗网络的分 布式检测），恶意代码检测与分类，UEBA（机器学习识别偏差），垃圾邮件检测（规则自 动更新与分类），SOAR（安全编排、自动化和响应）等。

AI安全算力侧空间或超百亿

在人工智能的三个基本要素——数据、 算法、算力中，算力提高了算法的效率和演进速度，同时与数据的数量和质量直接相关， 是推动人工智能系统整体快速发展应用的基石。根据我们在《算力的启发：AIGC 乱战， 冷静寻找， 机会与风险！》的测算，GPT-4 参数量高达 100 万亿，是 GPT-3 的 500 倍 以上，LLM 模型参数呈现指数增长态势，即使 AI 芯片的性能提升仍然遵从摩尔定律2， 计算资源仍然可能难以满足需求，超越“安迪-比尔”定律3的算力需求爆发。

AI 产业升级建立在海量算力基础之上，数据中心是集中承载算力的基础设施，不断扩 大数据中心建设规模、优化运行性能、强化安全能力将成为内在要求。2021 年 7 月，工业和信息化部印发了《新型数据中心发展三年行动计划（2021-2023 年）》，提出加快向新 型数据中心的转型，同时强调构建完善的安全保障体系，建设安全态势监测、威胁处置等 安全技术手段能力，面向数据中心底层设施和关键设备加强安全检测，防范解决多层次的 安全风险隐患。根据《新型数据中心网络安全体系研究》，新型数据中心涵盖边界安全、 网络安全、数据安全、云安全、应用安全、安全运营管理、安全及密码服务等全方位安全 需求。

根据中国基金报，三大运营商 2023 年在算力网络投资计划约 800 亿元。其中，中国 电信算力拟投资额 195 亿元，IDC 占比接近一半，达到 95 亿元。根据《网络安全产业高 质量发展三年行动计划（2021-2023 年），工信部明确电信等重点行业网络安全投入信息 化投入占比为 10%。按照数据中心安全投入占比 10%测算，假设中国移动和中国联通保持 50%的 IDC 投入占比，运营商的安全增量约 40 亿元。考虑到运营商等重要行业的安全投 入占比领先，假设其他行业安全投入占比 5%，根据中国信通院公布的中国网络安全市场营 收行业结构，其他行业的安全增量约 95 亿元，总计接近 134 亿元。

AI安全产业拉开大幕

在日前举办的2023西湖论剑·数字安全大会上，36氪观察到，不少行业专家在谈论数据安全的同时，同样热议AI安全。

安恒信息董事长范渊在2023西湖论剑·数字安全大会上表示，实战化是安恒的基因之一。在过去的护网、重大活动安保过程中，安恒通过总结自己的经验，沉淀出实战化模型。"我们这两年发现，AI+安全大脑在网络战形势下的价值越来越高。"范渊表示。

而针对最新出现的、生成式AI的安全，范渊总结，当前出现了几个新挑战和机遇：首先，AI和大模型本身会存在不少安全风险；另外，ChatGPT这类应用会给自动化生成网络安全工具和病毒木马后门带来几百倍的效率提升；同时，AI+安全的智能化应用，也会为智能防护和响应带来更大的机遇和成果。针对这些变化，范渊表示，安恒现在正在用相关海量数据和多个场景模型，在AI安全这个中模型上，覆盖产品、平台和服务3个维度，形成安全大脑。

"AI+安全，这个大幕刚刚拉开，未来还有更大的可能性。"范渊总结。

在会议中，中科院信息工程研究所副所长、大数据安全研究室主任王伟平教授同样介绍了生成式人工智能数据安全风险分析和对策。王伟平总结，生成式人工智会带来数据安全、内容安全、意识形态安全等方面的问题。

他认为，目前的生成式人工智能还是一个黑盒，人们无法很好地保障可解释性。这种情况下，首先社会应该加强对个人安全风险意识的宣贯，尽量避免个人信息透露给AIGC；第二，要对社交媒体上虚假信息内容进行辨别，从源头上避免给AIGC灌输一些负面、虚假的输入；同时也要加强涉密人员、涉密领域、涉密场所和涉密设备的监管，防止和ChatGPT类似系统产生关联。

另外他还强调，应同时促进AIGC技术和安全防护技术的创新，因为在这个领域，"不发展就是最大的不安全"。他举例，现在大家可以从输入和输出方面来抑制模型生成负面信息，并对人工智能智能生成的内容进行标记、鉴别、检测和溯源。

在垂直场景方面，浙江工业大学网络空间安全研究院副教授徐东伟，分享了自己对自动驾驶领域安全的观察。

他介绍，自己的团队在研究过程发现，自动驾驶所涉及的图片、视频或者语音智能感知算法存在一定脆弱性。"在输入过程中添加非常微小的、人耳听不到的噪声，就会对智能算法产生一个非常极端的影响。"他表示，这可能会导致车辆误判指令，从而对安全性产生影响。

而在数据层面，徐东伟表示，在智能网联场景下的车辆轨迹预测或者车辆控制中，如果缺失或者数据不含噪声，也会对控制算法、轨迹预测算法产生非常大的影响，也就是"鲁棒性会很差"。

同时，如果基于联邦学习或者区块链构建数据安全共享机制，虽然数据共享会比较安全，但如果数据本身不准确，模型也会受到攻击，同样对最终产生的决策产生攻击。

针对这些问题，徐东伟表示，未来他的团队会关注三个方面：第一是如何基于AI设计车联网的有效应用。第二是在车联网应用过程中，如何从数据安全和模型安全两方面保证车联网应用的安全。第三是在测试的前提下，如何进一步研究车联网应用过程中的鲁棒增强和有效的安全防护。

总结来看，AI安全虽是新鲜事物，但从技术逻辑拆解，与会专家大多认为AI安全和数据安全存在一些相通之处。针对数据安全，范渊表示，安恒早前就一直强调应用安全、数据安全，未来在数据安全方面也会持续投入。