生成式人工智能对中国CIO和安全团队的影响

作者: Gartner研究总监 赵宇 Gartner高级研究总监 高峰

ChatGPT的热烈炒作、广泛使用和快速蔓延提升了最终用户对LLM和GenAI的认识，引发了一波商业实验和AI初创企业的浪潮。2023年4月的Gartner网络研讨会发现，381名中国参会人员有70%已经或计划启动GenAI项⽬，其中6%已在生产环境部署了GenAI，26%在试点GenAI，38%处于规划阶段。 

CIO及其安全团队需要为GenAI的影响做好准备，在以下四个方面采取措施：

1.为构建GenAI应用提供安全保护：AI应用攻击面不断扩大，产生了新的潜在风险，需要对现有应用安全实践进行调整。 

2. 管理和监控使用GenAI的方式：各企业机构正在探索如何使用嵌⼊现有应用的GenAI助手，这些应用都有独特的安全要求，是传统安全控制措施无法满足的。
 
3. 利用生成式网络安全AI进行防御：有效抓住GenAI机遇，从而改善安全和风险管理、 优化资源、抵御新兴攻击技术，甚至降低成本。Gartner将生成式⽹络安全AI定义为 GenAI技术在网络安全中的应用。 

4. 为受到GenAI攻击做好准备：GenAI工具和技术不断发展，各企业机构必须适应恶意行为者不断发展的技术或新的攻击向量。

图1对此进行了说明

CIO及其安全团队不应只是试图跟上新技术发展的步伐，也需要规划和建立一致而有效的AI安全治理计划，以应对GenAI采用激增的局面和各类新兴场景。

AI安全治理项目应整体覆盖组织架构、技术和政策。其早期任务之一就是制定所有构建或部署AI的团队必须遵循的标准，包括安全AI开发、AI数据安全和AI安全应急响应标准。中国CIO和安全团队应与利益相关者和企业机构领导者合作，制定五个阶段的AI安全治理计划（见表1）。

表1: AI安全治理项目的五个阶段及主要行动