2024年世界互联网大会乌镇峰会在浙江嘉兴桐乡启幕，本次峰会全面聚焦人工智能。
人民网评论文章“中国实践推动全球人工智能安全发展”一则相关推送，迅速冲上今日头条热搜榜第三。AI到底应该被关在怎样的“笼子”里？
近年来，“野蛮生长”的人工智能既给世界带来重大机遇，也带来了重大全球性风险挑战。
来源：原创
发展“负责任”的人工智能，做好人工智能的监管与合规，已成为全球性的关键议题。
以下内容摘录于《大模型安全、监管与合规》。人工智能大模型仍然存在多种安全挑战，包括技术风险（对抗攻击、后门攻击、数据投毒、模型窃取等）、合规与监管问题（涉及知识产权、内容及数据合规等）以及伦理风险。
针对大模型在数据层面的安全挑战，除要规范数据收集流程，还需要额外注意：
1）确保安全的数据传输和存储机制，包括加密技术、访问控制和安全协议等。
2）对数据进行匿名化或脱敏处理，以最大限度地减少个人隐私泄露的风险。
3）进行数据质量和完整性的检查与清洗，排除不良数据对模型训练的影响。
4）对于法律上明确的数据采集和使用的合规要求，通过产品和技术方式予以落地。
5）对数据样本进行平衡处理，以减少出现偏见和歧视的可能性。
6）引入对抗训练和鲁棒性评估等技术，以增强模型对对抗性样本和干扰攻击的抵抗能力。
7）定期进行安全审计和漏洞扫描，及时修复可能存在的安全问题。
8）对模型输出结果进行检测，及时发现异常结果或误导性输出。可以设置警报机制，检测模型行为，及时修复漏洞。
由于大语言模型通常是黑盒模型，检测模型中潜在的安全问题或判断模型的可靠性颇有难度，针对大模型在可信层面的安全挑战，有三大支柱和七大要求。
Contents目 录
前言
第1章 大语言模型安全及其挑战1
1.1 大语言模型的发展历史与技术现状2
1.1.1 序章：起源与早期形态2
1.1.2 转折：神经网络的兴起2
1.1.3 现代巨人：GPT与BERT的时代3
1.1.4 技术现状与应用领域4
1.2 大语言模型安全的范畴5
1.2.1 大语言模型的技术安全：关键挑战是什么5
1.2.2 大语言模型的监管与合规：面临哪些关键问题6
1.3 生成式人工智能安全的重要性6
1.3.1 提升大语言模型的社会信任和声誉7
1.3.2 降低大语言模型的法律风险9
1.3.3 保护大语言模型的用户数据隐私9
1.3.4 保障大语言模型服务的连续性10
1.3.5 提高大语言模型的系统稳定性11
1.4 大语言模型安全的现状与挑战11
1.4.1 大语言模型的安全隐患与主要风险点12
1.4.2 大语言模型与国家安全风险14
1.4.3 大语言模型安全治理之道：发展与安全并重15
第2章 大语言模型技术层面的安全风险17
2.1 大语言模型的信息安全原则18
2.1.1 机密性18
2.1.2 完整性18
2.1.3 可用性18
2.2 传统安全风险19
2.2.1 传统网络攻击依然具有威力20
2.2.2 常见的传统网络攻击方式21
2.3 识别和分析人类意图上的挑战21
2.3.1 恶意意图的识别难题22
2.3.2 AI生成虚假信息传播23
2.3.3 利用AI进行黑客攻击24
2.4 大语言模型的固有脆弱性24
2.4.1 对抗攻击25
2.4.2 后门攻击29
2.4.3 Prompt攻击30
2.4.4 数据投毒攻击31
2.4.5 模型窃取攻击32
2.4.6 数据窃取攻击33
2.4.7 其他常见安全风险34
第3章 大语言模型监管与合规的法律框架37
3.1 全球视野下的AIGC监管现状38
3.1.1 AIGC企业面临的诉讼压力38
3.1.2 针对AIGC企业的执法调查屡见不鲜41
3.1.3 各国抓紧AIGC相关立法44
3.2 国内的监管体系45
3.2.1 国内监管体系概述45
3.2.2 国内现行监管政策梳理与总结48
3.2.3 国内重点监管政策解读50
3.3 国外的典型法域54
3.3.1 欧盟54
3.3.2 美国68
3.3.3 英国73
3.3.4 新加坡75
3.3.5 加拿大77
3.3.6 韩国78
第4章 大语言模型知识产权合规81
4.1 著作权82
4.1.1 著作权概述82
4.1.2 AIGC生成物的著作权定性分析82
4.1.3 AIGC技术相关的著作权侵权风险85
4.1.4 典型案例分析88
4.1.5 小结99
4.2 开源协议103
4.2.1 开源协议概述103
4.2.2 开源协议引发的侵权风险106
4.2.3 涉及开源协议的相关案例107
4.2.4 涉及开源协议的侵权风险防范措施109
4.3 专利权109
4.3.1 专利权概述109
4.3.2 AIGC场景下的专利权相关问题110
4.4 商标权112
4.4.1 商标权概述112
4.4.2 AIGC场景下的商标侵权113
4.4.3 人工智能生成物与商标侵权113
4.5 商业秘密115
4.5.1 商业秘密概述115
4.5.2 AIGC场景下常见的商业秘密相关风险116
4.5.3 典型案例分析118
4.5.4 小结120
第5章 大语言模型数据合规123
5.1 模型训练阶段124
5.1.1 数据采集124
5.1.2 数据质量提升134
5.2 模型应用阶段137
5.2.1 告知同意138
5.2.2 个人信息权利行使138
5.2.3 收集儿童个人信息139
5.2.4 数据跨境139
5.3 模型优化阶段142
5.3.1 数据使用142
5.3.2 数据安全143
第6章 大语言模型内容安全145
6.1 内容安全监管146
6.1.1 国内视角下的监管146
6.1.2 国外视角下的监管147
6.2 内容安全风险149
6.2.1 权利人提起的民事侵权责任149
6.2.2 监管机构提起的行政处罚150
6.2.3 刑事处罚150
6.3 内容安全合规151
6.3.1 模型训练阶段151
6.3.2 模型应用阶段155
6.3.3 模型优化阶段160
第7章 大语言模型算法合规163
7.1 算法合规框架概述164
7.2 算法备案164
7.2.1 法律依据及实施概况164
7.2.2 备案流程166
7.2.3 算法备案入口及角色167
7.2.4 备案所需准备的文件及材料168
7.2.5 备案期限168
7.3 人工智能安全评估169
7.4 算法公开透明170
7.5 算法生成内容标识173
7.6 算法反歧视176
7.6.1 算法设计178
7.6.2 训练数据选择179
7.6.3 模型生成和优化180
7.7 与算法有关的侵权181
7.8 算法合规要点总结185
第8章 大语言模型伦理安全187
8.1 大语言模型伦理：AI技术进步的道德维度188
8.1.1 三个案例引发对AI伦理的思考188
8.1.2 人工智能伦理概述：一个复杂且涵盖多方面的议题191
8.2 人工智能伦理的重要性191
8.2.1 提升公众信任：大语言模型伦理规范的社会影响192
8.2.2 确保合规性：企业和组织遵守伦理规范的必要性192
8.2.3 面向可持续的未来：伦理规范的长期社会影响193
8.3 大语言模型伦理安全风险及成因分析194
8.3.1 主要的伦理风险194
8.3.2 伦理风险的成因195
8.4 我国人工智能伦理治理实践195
8.4.1 我国人工智能伦理相关法规政策概述196
8.4.2 确立科技伦理治理体制机制198
8.5 大语言模型伦理风险应对策略205
8.5.1 研究开发者的责任205
8.5.2 设计制造者的责任206
8.5.3 部署应用者的责任207
8.5.4 用户的责任208
第9章 大语言模型的安全保障方案211
9.1 传统技术层面的安全保障212
9.1.1 大语言模型在系统层面的安全挑战212
9.1.2 大语言模型中可应用的经典安全技术214
9.1.3 应用传统安全实践的经验215
9.2 数据层面的保障策略217
9.2.1 数据收集阶段面临的安全挑战218
9.2.2 训练阶段的安全建议219
9.2.3 模型推理阶段的安全建议220
9.3 可信属性角度的安全防护策略221
9.3.1 大语言模型可信任的支柱222
9.3.2 人类监管和监督223
9.3.3 技术健壮性和安全性223
9.3.4 隐私和数据治理224
9.3.5 透明度226
9.3.6 多样性和公平性228
9.3.7 社会和环境变革229
9.3.8 问责机制231
第10章 生成式人工智能未来展望233
10.1 技术视角看大语言模型安全的发展趋势234
10.1.1 增强安全性与可靠性234
10.1.2 提高透明性与可解释性235
10.1.3 优化性能与效率236
10.1.4 应对深度伪造技术237
10.1.5 区块链技术的集成238
10.2 法律视角看大语言模型安全的发展趋势239
10.2.1 全球数据保护法律法规在大模型领域的细化与完善240
10.2.2 全球范围内算法监管框架的逐渐完善241
10.2.3 AI时代的知识产权244
10.2.4 伦理规范的法律化251
本文来源：综合《大模型安全、监管与合规》，图片来源：原创
责任编辑：王莹，部门领导：宁姗
发布人：吕重江
