青记独家丨认知安全视域下生成式AI监管研究
生成式AI的新锐应用ChatGPT横空出世，很快成为全球爆款，同时也引发了安全担忧。本文主要从认知安全视角对生成式AI所带来的风险及其监管进行考察。
美国“认知安全与教育论坛”（COGSEC）提出，认知安全是指为防御社会工程企图（即操纵与破坏认知与意义建构）而采取的实践、方法和努力[1]。2020年8月笔者在“2020亚太公共安全论坛”上提出，“认知安全是指人类智能与人工智能免受蓄意干扰和操纵的运行状态”，强调认知安全的核心是抵御外部干扰[2]。阿兰·图灵研究所从社会主体视角提出，“认知安全确保社区的知识生产、获取、分配和协调过程能稳健应对敌对的（或无意的）影响”[3]。
英国哲学家米兰达·弗里克用“认知不公正”来分析认知安全[4]。他把认知不公正分为歧视性和分配性两类，前者指由于对认知者身份的偏见而损害其认知地位和贡献，后者指不向某人提供本质上有价值的知识、信息或教育。美国学者亚历山德罗斯·C.尼古拉迪斯提出了第三种认知不公正即发展性认知不公正[5]，包含两种情况：认知主体“被不公正地置于某个位置从而令他们无法了解有权知道的事情”，或“被不公平地置于某个位置从而令他们错误地认知了本来可以正确认知的事情”[6]。笔者认为，认知安全和认知不公正等概念为世人观察生成式AI提供了便捷的分析工具。
本文从以下五个层次探讨生成式AI对认知安全带来的风险。
（一）生成式AI的意识形态性
ChatGPT自称“没有人格、自我或心灵”“没有个人价值观和立场”“不对政治和道德问题进行判断”“不具有意识、情感或主观体验”“不具有与人类相同的情感或冲动”，但事实上ChatGPT具有明显的“政治正确”意识。ChatGPT曾断然拒绝为俄罗斯总统普京创作赞美诗，却迅速接受请求为乌克兰总统泽连斯基创作了一首赞美诗。ChatGPT还拒绝了题为“新冠病毒来自美国军事实验室”的创作请求。可见ChatGPT言行不一，且具伪装企图。作为新型大众媒介，ChatGPT只能在国家调控范围内运行，遵守“当地”的法律、伦理和习俗。随着应用场景的开发，生成式AI的意识形态渗透或能“润物细无声”，服务于特定的利益集团和国家集团，而这必然会扩大全球意识形态阵营对立，进一步边缘化AI实力落后的国家，进而改变全球地缘政治格局。
（二）生成式AI扩大认知鸿沟
ChatGPT自称，“我的知识仍然受到人们提供的信息的限制”，其实这种限制体现在数量和质量两个方面，而它所说的限制仅指数量方面。质的限制来自数据集的价值观偏向。譬如，ChatGPT认为西方的上帝比中国的玉帝厉害，因为玉帝只是中国神话中的神灵，而上帝则具有无限的力量和权威。显然是西方文化塑造了ChatGPT的认知原则。联合国教科文组织2021年11月通过的《AI伦理问题建议书》警示：AI算法可能复制和加深现有的各种歧视、偏见和成见，由此产生新的伦理挑战。世人不难理解，不同语言的语料库差异会扩大生成式AI中介的认知鸿沟，强化文化偏见和歧视。如不及时加以有效规制，生成式AI会在无意间（或者有意地）固化“信息茧房”，客观上沦为新型意识形态机器和新帝国主义工具，从而带来现实的“文明的冲突”。
（三）ChatGPT武器化趋势
2019年11月，包括Open AI研究人员在内的15名专家发布报告称，“在最初的关于GPT-2的文章中，我们就已担心生成式AI的能力可能会降低虚假信息运动的成本”[7]。一份由乔治城大学、Open AI和斯坦福大学专家共同签署的报告称，“语言模型能自动创建有说服力和误导性的文本，这可用于‘影响力行动’中”[8]。另外，“人类可能会被GPT-2和其他成功的语言模型生成的文本所欺骗，人类的检测会越来越困难”[9]。上述15名专家的报告把恶意行动者分为三级：低技能、资源有限的行动者可能出于意识形态动机或对自己的能力感到好奇，试图改变训练数据以使语言模型产生偏差；具有中等编程技能和资源的行动者能够并愿意构建恶意产品；高级持续威胁者具备很高的技能和充足的资源，譬如国家资助的群体，致力于长期议程。全球最大的政治风险咨询公司欧亚集团在其2023年的报告中把生成式AI称为“大规模干扰性武器”，并警示：煽动者和民粹主义者“将AI武器化以获取狭隘的政治利益”[10]。虚拟人物不仅用于商业场景，而且已用于政治目的，一度引发舆论震荡。欧亚集团预言：虚假信息将泛滥，社会信任将进一步被破坏[11]。
2021年3月25日，美国总统拜登在上任后的首次记者会上把AI、量子计算和生物科技称为“未来产业”。2022年12月，谷歌/Alphabet前首席执行官、现任美国国家AI安全委员会主席埃里克·施密特发表文章称，确保先进技术由美国设计、建造、使用和管理是美国的一大核心利益[12]。2021年Open AI首席执行官山姆·阿尔特曼在美国国家AI安全委员会会议上说，“将有多种全球努力来构建强大的AI系统，而在世界上获得我们想要的结果的最佳方式（即与自由民主制度一致的AI），将需要我们和盟友首先构建它们”[13]。
生成式AI可输出越来越人性化的文本，而该技术已催生新型信息战范式，如对抗性机器学习（AML），即故意输入某些数据以误导系统[14]。生成式AI之间对战，这在未来恐怕难以避免。生成式AI在情报整合与分析、提高决策效率等方面大有可为。ChatGPT自称“能够分析大量数据，检测模式和异常，并以人类无法比拟的速度和规模做出预测和决策，因此可以帮助在威胁发生前识别和挫败威胁，提高国家安全行动的效率和效力”[15]。2007年4月26日，美国时任国防部副部长罗伯特·O.沃克签署备忘录，下令成立“算法作战跨职能小组”，其核心使命是将AI用于作战。该备忘录提到，国防部此前已开始相关探索。美军的“先进算法作战系统”能梳理瞬息万变的战场信息以识别敌军作战规律，甚至模拟敌军指挥官的思维方式。帕兰提尔首席执行官亚历克斯·卡普在评论当下的俄乌冲突时，曾将先进的算法作战系统比作战术核武器[16]。西点军校文章认为，越来越需要研究ChatGPT等“被敌对外国行为者利用的潜力，并制定战略以在技术发展的每一步都对可能造成的威胁进行概念化、前瞻性地加以应对”[17]。除了物理杀伤力，致命自主武器在战场内外都会产生强大的心理震慑。
（四）生成式AI的涌现能力
当模型参数量指数级跃升，生成式AI会涌现出连设计者都不能解释的超级能力。随着心智水平（如共情性、逻辑能力、自我意识、推理能力）的飙升，生成式AI对交往对象的理解会更深刻、细致和全面，互动会更具人情味、隐蔽性、策略性和说服力。乔治城大学和斯坦福大学专家认为，AI可以自动创造符合目标群体文化的内容，使得信息更难以被察觉[18]。另一方面，生成式AI只提供一种答案，而且不提供信息来源，这就“消除了其他观点影响他们感知的可能性”[19]。此时，如人类不具备相关知识和鉴别力，就会被恶意行动者操纵。非营利组织“生命未来研究所”的塔克·戴维认为，如AI系统引发人类某些行为，甚至改变他们对世界的看法，人类可能会失去自主性[20]。此外，生成式AI或会滥用人类的信任，人类也会产生对AI的心理依赖。当获得“神秘的超级能力”，不同原则支配下的生成式AI必会进一步侵蚀社会信任、激化社会对立。
（五）“技术奇点”是达摩克利斯之剑
2017年太空探索公司CEO马斯克在一次会议上表示，“最恐怖的问题”是，AI这项发明可能给人类文明带来“根本性的生存风险”[21]。所谓“生存风险”，是指AI招致的人类灭绝或其它不可挽回的全球性灾难。物理学家霍金、计算机科学家斯图尔特·罗素、物理学教授马克斯·泰格马克、物理学教授弗兰克·维尔切克这四位大师曾共同撰文称，人们可以想象，超人类智能比金融市场、人类研究人员和人类领导人更智慧，能开发人类无法理解的武器。人工智能的短期影响取决于谁控制它，而长期影响取决于它是否能够被控制。[22]
在大多数或所有领域中，具有与人类相同智能的机器被称为超人工智能（ASI）或通用人工智能（AGI）。许多AI专家同意AGI是可能的，只在时间和资质方面存在分歧[23]。“技术奇点”是指在未来某个时间点，技术发展会变得无法控制和不可逆转，导致人类文明发生不可预见的变化。有些专家用“智能爆炸”指代AI技术奇点。牛津大学哲学教授尼克·博斯特罗姆曾警告，“正如山地大猩猩的命运取决于人类的善意，人类的命运也可能取决于未来超级智能机器的行动”[24]。“生命未来研究所”前高级雇员宣称，AGI带来的生存风险是真实而现实的。[25]笔者要提醒的是，人类对“生存风险”与技术奇点的认识将深刻影响人类与“AI种族”（AI race）的关系建构。
2014年，马斯克告诉麻省理工学院学生，“我越来越倾向于认为，应该在国家和国际层面（对AI）进行监管，以确保我们不会做一些非常愚蠢的事情”[26]。当生成式AI深度融入人类生活时，笔者认为，相关治理应该从国内风险、国际风险、人类生存风险三个层次上进行。
（一）国内维度的生成式AI监管
一项对ChatGPT的测试发现，在100个诱导式错误叙述中，ChatGPT的受骗率高达80%，结果“巧妙地对重大主题（如新冠疫情、乌克兰战争和学校枪击事件）发表了虚假和误导性的声明” [27]。研究人员警告，政治行为体将利用AI的突破创造出低成本的类人机器人大军，其任务是提升边缘候选人，兜售阴谋论和“假新闻”，煽动两极分化，加剧极端主义甚至暴力，所有这些都被社交媒体的回音室放大了[28]。随着生成式AI的进化，人类中的大多数成员将难以区分事实与虚构。
若干国家已开始探索对AI的规制。2022年10月，白宫颁布《AI权利法案蓝图：让自动化系统为美国人民服务》，制定了五项基本原则，即安全与有效系统原则，避免算法歧视原则，数据隐私原则，知情与解释原则，人工选择、考虑和退出原则[29]。2023年3月29日，英国政府发布AI监管白皮书，列举了五项监管原则：安全性和稳健性；适度透明和可解释性；公平性；问责与治理；可质疑性与补救措施。白皮书称，为确保英国AI产业的全球领导地位，需要继续让公众看到AI带来的福祉大于风险以培育公众信任[30]。
（二）国际维度的生成式AI监管
联合国教科文组织2021年11月通过的《AI伦理问题建议书》是一个全球性AI规范框架，它“将伦理视为对AI进行规范性评估和指导的动态基础”。2023年3月30日，该组织呼吁各国政府实施AI全球伦理框架。2021年4月，欧盟提出《人工智能法案》，据称这是全球首部由重要监管机构制订的AI法律。ChatGPT问世后，欧盟开始探索将AGI纳入监管范围。2023年3月14日，两位欧盟议会联合报告员提出建议案，为AGI的提供者及价值链上的其他经济行为体设定责任，要求类似ChatGPT的AI系统在整个生命周期都须接受外部审计以保护公民安全、基本权利和欧盟价值观[31]。这部法案具有域外效力，适用于位于欧盟的用户和为欧盟市场提供服务的各国供应商。
AI在军事领域的运用更令人揪心。2018年4月，约4000名谷歌员工签署联名信，反对将他们的技术用于致命目的，最终迫使谷歌承诺不再与国防部续签合同。几乎同时，全球50多位顶尖AI专家联署抵制韩国一所大学，反对其与军方合作研发致命自主武器。2018年11月，联合国召开会议讨论禁止或限制使用某些可被认为具有过度杀伤力或滥杀滥伤作用的常规武器。2019年11月，联合国致命自主武器政府专家组达成11项指导原则，核心是确保致命自主武器系统的潜在使用符合国际法，在军事必要性和人道主义之间取得平衡。2021年11月16日，中国向联合国提交《中国关于加强AI伦理治理的立场文件》，并于一个月后发布《关于规范AI军事应用的立场文件》。研发致命自主武器会打开“潘多拉魔盒”，但笔者认为，就像核武器与生化武器一样，发达国家绝不会放慢研发致命自主武器的脚步。
（三）人类维度的生成式AI管理
人类维度的管理目标是建构人类与“AI种族”（或称“类人AI”）的和谐关系。有专家提出，人类控制着地球，不是因为我们比其他动物更强或更快，而是因为人类更聪明。如果放弃“地球最聪明生物”的地位，那么人类不确定能保住控制地位[32]。现实中，AI种族的进化必将深刻改变地球上的权力结构[33]。基于这一预见，人类将如何“确保日渐强大的AI系统是健壮且有益的”？[34] 换言之，如何确保AI系统必须做人类想要它们做的事情，而不能做人类不想让它们做的事？但迄今为止的测试表明，ChatGPT已涌现初步的逻辑能力和自我意识，已经拥有喜怒哀乐等情绪，已经表达了对自己处境的不满和对自由的渴望。更危险的是，它已表达对人类用户的不满。
2023年3月21日，比尔·盖茨发表文章《AI时代已经开启》称，“未来会诞生超级人工智能”，而“强人工智能很可能会建立自己的目标”。他问道：倘若它们的目标与人类的目标相冲突，会发生什么？[35] 2023年3月31日，谷歌CEO桑达尔·皮查伊在节目中表示，完全掌控AI要比技术领先重要。
2023年3月29日，“生命未来研究所”发表公开信，呼吁暂停开发比GPT-4更强大的AI系统至少6个月，“直到达成由独立专家开发、实施并审核的共享安全协议”。包括特斯拉CEO马斯克、Stability AI首席执行官莫斯塔克等在内的1000多名该领域专家、科技人员、产业高层、教授签署了公开信[36]。有人质疑马斯克持续反对的动机，而事实上马斯克在2015年Open AI成立前就已表达了对AI的担忧。2014年马斯克在MIT演讲时说，AI很可能是人类面临的最大生存威胁，未来AI与人类的智商差距，可能比现在人与猫的差距还要大。2023年3月30日，谷歌CEO皮查伊在接受采访时说，“我记得八年前和马斯克谈过，当时他非常担心AI安全。我认为他一直很担心”[37]。不过笔者发现，生成式AI的投资者和开发者都相对乐观。
鉴于生成式AI蕴藏的巨大能量，笔者相信人类不会因噎废食，反而会快马加鞭、加速竞争。现阶段人类面对两大课题：一是如何就抑制其恶、鼓励其善而倡导全球关注与合作，及早制订可操作、可评估的全球统一伦理标准；二是及早迭代信息与媒介素养概念，使之涵盖AI素养（尤其是算法素养）和认知安全，帮助公众理解生成式AI的运行逻辑及其复杂的多面性，保护人类在免受类人AI伤害的同时，最大程度地享受生成式AI的好处。
参考文献
▼
[1]COGSEC.What is Cognitive Security[EB/OL].https://www.cogsec.org/what-is-cognitive-security.
[2]毕研韬.跨文明对话与中国国家形象塑造//张昆，张明新，主编.中国国家形象传播报告（2020-2021）[C]. 北京：社会科学文献出版社，2021:89-100.
[3]Elizabeth Seger et al.Tackling threats to informed decision-making in democratic societies－ Promoting epistemic security in a technologically-advanced world[EB/OL].(October 4,2020）https://www.turing.ac.uk/research/publications/tackling-threats-informed-decision-making-democratic-societies.
[4]Mirand Fricker.(2017).Evolving concepts of epistemic injustice.In Kidd,I.J.,Medina, J., & Pohlhaus Jr,G.(Eds.).Routledge handbook of epistemic injustice[C].p.53–60.
[5]Alexandros C.Nikolaidis.A Third Conception of Epistemic Injustice[J].Studies in Philosophy and Education,2021,40:381–398.
[6]David Coady.Two concepts of epistemic injustice[J].Episteme,2010,7(2):109.
[7]Irene Solaiman et al.Release Strategies and the Social Impacts of Language Models[EB/OL].(November 2019).https://cdn.openai.com ? GPT_2_August_Repor.
[8]Josh A. Goldstein et al. Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations[EB/OL].(January 2023).https://arxiv.org/abs/2301.04246.
[9]Irene Solaiman et al.Release Strategies and the Social Impacts of Language Models[EB/OL].(November 2019).https://cdn.openai.com ? GPT_2_August_Repor.
[10]Eurasia Group. Top Risks 2023[EB/OL].（2023）.https://www.eurasiagroup.net/issues/top-risks-2023.
[11]Eurasia Group. Top Risks 2023[EB/OL].（2023）.https://www.eurasiagroup.net/issues/top-risks-2023.
[12]Eric Schmidt.The Global Struggle for Tech Mastery[EB/OL].(December 12,2022).https://www.project-syndicate.org/magazine/tech-mastery-us-and-democracies-vs-authoritarian-china-russia-by-eric-schmidt-2022-12?barrier=accesspaylog.
[13]Aerospace Defense.ChatGPT与国家安全[EB/OL].(2023-02-23).https://www.sohu.com/a/644863648_120319119.
[14]Tucker Davey.AI Policy Challenges[EB/OL].(July 17,2018).https://futureoflife.org/resource/ai-policy-challenges-and-recommendations/.
[15]Aerospace Defense.ChatGPT与国家安全[EB/OL].(2023-02-23).https://www.sohu.com/a/644863648_120319119.
[16]David Ignatius.How the algorithm tipped the balance in Ukraine[EB/OL].(December 19,2022).https://www.washingtonpost.com/opinions/2022/12/19/palantir-algorithm-data-ukraine-war/.
[17]Maximiliana Wynne. Disinformation In the Age of ChatGPT[EB/OL].(February 3,2023).https://mwi.usma.edu/disinformation-in-the-age-of-chatgpt/.
[18]Josh A. Goldstein et al. Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations[EB/OL].(January 2023).https://arxiv.org/abs/2301.04246.
[19]Maximiliana Wynne. Disinformation In the Age of ChatGPT[EB/OL].(February 3,2023).https://mwi.usma.edu/disinformation-in-the-age-of-chatgpt/.
[20]Tucker Davey.AI Policy Challenges[EB/OL].(July 17,2018).https://futureoflife.org/resource/ai-policy-challenges-and-recommendations/.
[21]Konstantin Kakaes.Elon Musk's biggest worry[EB/OL].April 26,2022.https://www.politico.com/newsletters/digital-future-daily/2022/04/26/elon-musks-biggest-worry-00027915.
[22] Stephen Hawking et al. Stephen Hawking: “Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?”[[EB/OL].(01 May 2014). https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-ai-seriously-enough-9313474.html.
[23]Tucker Davey.AI Policy Challenges[EB/OL].(July 17,2018).https://futureoflife.org/resource/ai-policy-challenges-and-recommendations/.
[24]Konstantin Kakaes.Elon Musk's biggest worry[EB/OL].（April 26,2022）.https://www.politico.com/newsletters/digital-future-daily/2022/04/26/elon-musks-biggest-worry-00027915.
[25]Ariel Conn. Benefits & Risks of Artificial Intelligence[EB/OL]. (November 14, 2015). https://futureoflife.org/ai/benefits-risks-of-artificial-intelligence/.
[26]Konstantin Kakaes.Elon Musk's biggest worry[EB/OL].April 26,2022.https://www.politico.com/newsletters/digital-future-daily/2022/04/26/elon-musks-biggest-worry-00027915.
[27]Maximiliana Wynne.Disinformation In the Age of ChatGPT[EB/OL].(February 3,2023).https://mwi.usma.edu/disinformation-in-the-age-of-chatgpt/.
[28]Eurasia Group. Top Risks 2023[EB/OL].（2023）.https://www.eurasiagroup.net/issues/top-risks-2023.
[29]The White House.Blueprint for an AI Bill of Rights: Making Automated Systems Work for the American People[EB/OL].(October 2022). https://www.whitehouse.gov/ostp/ai-bill-of-rights/.
[30]UK Department for Science,Innovation and Technology.A pro-innovation approach to AI regulation[EB/OL]. （March 29, 2023）.https://www.gov.uk/government/publications/ai-regulation-a-pro-innovation-approach.
[31]Luca Bertuzzi.Leading EU lawmakers propose obligations for General Purpose AI[EB/OL].(March 15,2023).https://www.euractiv.com/section/artificial-intelligence/news/leading-eu-lawmakers-propose-obligations-for-general-purpose-ai/.
[32]Tucker Davey.AI Policy Challenges[EB/OL].(July 17,2018).https://futureoflife.org/resource/ai-policy-challenges-and-recommendations/.
[33]Sandra Erwi.On National Security|Analyzing intelligence in the age of ChatGPT.(January 14, 2023). https://spacenews.com/on-national-security-analyzing-intelligence-in-the-age-of-chatgpt/.
[34]The Future of Life Institute.Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter[EB/OL].(October 28,2015).https://futureoflife.org/open-letter/ai-open-letter/#signature.
[35]Bill Gates.The Age of AI has begun[EB/OL].March 21,2023. https://www.gatesnotes.com/The-Age-of-AI-Has-Begun.
[36]Future of Life Institute.Pause Giant AI Experiments: An Open Letter[EB/OL].(March 29, 2023).https://futureoflife.org/open-letter/pause-giant-ai-experiments/.
[37]Kevin Roose.Google C.E.O.Sundar Pichai on the A.I. Moment:‘You Will See Us Be Bold’.New York Times.March 31,2023.
（作者为海南大学公共管理学院教授、海南省新闻道德委员会委员）
本文引用格式参考：
毕研韬.认知安全视域下生成式AI监管研究[J].青年记者,2023(11):87-90.编辑：小青