深入探索“影子AI”对当代组织的潜在威胁

GysUtW

译者 | 晶颜
审校 | 重楼
想象一下：一个营销经理使用ChatGPT来起草一个个性化的电子邮件活动。与此同时，一名开发人员用经过客户数据训练的机器学习模型进行了实验，人力资源团队集成了人工智能（AI）工具来筛选简历。但这些操作都没有经过IT部门的允许。如此一来的后果是什么？没错，就是“影子AI”泛滥！

影子IT——在工作中使用未经批准的软件或工具——并不是什么新鲜事物。然而，随着AI的快速采用，影子IT已经演变成更复杂的东西：影子AI。员工现在可以轻松访问ChatGPT、AutoML平台和开源模型等AI工具，使他们无需等待批准即可进行创新。虽然这听起来像是生产力的胜利，但它也带来了严重的风险。
对于采用AI驱动的解决方案的组织来说，影子AI越来越受到关注，因为它在IT治理的边界之外运行。使用这些工具的员工可能会在不知不觉中暴露敏感数据，违反隐私法规，或将有偏见的AI模型引入关键工作流程。这种不受管理的AI应用不仅仅是违反规则，还涉及道德、法律和运营方面的潜在后果。
什么是影子AI？

影子AI是指在组织内未经授权或未经管理地使用AI工具、模型或平台。这是一种新形式的影子IT，员工或团队在未经IT或治理团队批准的情况下采用AI技术。与传统工具不同，AI对数据和决策能力的依赖使其风险加剧。
影子AI的示例

1.营销团队和ChatGPT

市场实习生面临着快速制作新闻稿的压力。他们听说了ChatGPT编写内容的能力，便决定尝试一下。为此，实习生复制了之前包含机密客户详细信息的新闻稿，并将其粘贴到ChatGPT的输入框中以获取“灵感”。
ChatGPT生成了一份十分惊艳的草稿，但是平台的数据策略允许它保留用户输入以改进模型。现在，敏感的客户信息在公司不知情的情况下存储到了外部服务器上。
2.数据科学家和流氓模型

数据科学家急于证明预测分析对公司销售部门的价值。他在没有正式获得批准的情况下下载了客户购买历史，并训练机器学习模型。他还使用开源数据集来补充训练数据，以节省时间。
然而，这个外部数据集包含有偏差的信息。该模型虽旨在预测购买行为，但由于训练数据的偏差，其结果是有倾向性的。在没有监督的情况下，该模型被用于做出关键的销售决策。某些特定人群的客户被不公平地排除在促销活动之外，这对公司的声誉造成了损害。
3.开发人员和API快捷方式

开发人员的任务是向公司的客户服务门户添加翻译功能。她没有在内部构建解决方案，而是找到了一个提供即时翻译的第三方AI API。开发人员无需审查其提供者或通知IT部门即可集成API。
但是，该API却包含开发人员不知道的漏洞。短短几周内，攻击者便利用这些漏洞访问了敏感的客户通信日志。该公司遭受了严重的安全漏洞，导致运营停机和经济损失。
影子AI背后的驱动因素

影子AI正在蔓延，因为员工比以往任何时候都更容易独立采用AI工具。但是这种独立性伴随着风险，涵盖从合规性问题到安全漏洞在内的诸多隐患。而推动影子AI的主要因素包括以下几点：
AI工具的可访问性

AI工具现在比以往任何时候都更容易获得，许多工具都是免费的、便宜的，或者只需要很少的设置，这使得它们对寻求快速解决方案的员工极具吸引力。
例如，一个销售团队可能会使用一个免费的AI聊天机器人来管理客户查询，在不知情的情况下上传真实的客户数据进行培训。这些数据可能会保存在外部服务器上，从而造成潜在的隐私泄露。
这里的问题在于缺乏治理，因为在没有监督的情况下使用易于访问的工具可能导致数据泄露或违反法规，从而给组织带来重大风险。
AI民主化

AutoML和Datarrobot等用户友好型平台，以及Hugging Face等平台上的预训练模型，允许非技术用户快速创建AI模型或部署AI解决方案。例如，营销分析师可能会使用谷歌AutoML通过上传购买历史来训练模型，以预测客户流失。
虽然该工具可以无缝地工作，但却可能在不知不觉中违反公司的数据处理政策，因为它没有将敏感信息匿名化，并将私人客户数据暴露给第三方平台。
这里的问题在于缺乏技术监督，因为这种能力增加了错误、数据滥用和道德问题的风险，潜在地损害了组织的安全性和合规性。
创新的压力

创新的压力往往会导致员工绕过IT治理，更快地部署AI工具，尤其是在面临紧迫的最后期限时，等待批准感觉像是一个“锁喉术”般难受。
例如，一个产品团队面临着在几周内推出新功能的压力，可能会跳过IT审批，部署GitHub上的开源AI推荐系统。
虽然系统能够运行，但它会产生有偏见的推荐，从而疏远某些客户群。这种没有适当监督的急于创新会导致重大的后续问题，包括有偏见的决策、技术债务和声誉损害，破坏组织的信任和绩效。
组织AI战略存在缺口

缺乏明确的AI政策或获批工具往往迫使员工寻找自己的解决方案，创造了一个允许影子AI蓬勃发展的环境。例如，如果没有可用的内部选项，需要分析客户情绪的员工可能会在不了解相关风险的情况下使用外部平台。
由于数据隐私和安全指导方针不明确，对AI风险的培训不足，以及批准的工具或平台不可用，这种种治理方面的缺口都阻碍了负责任地采用AI，最终使组织暴露在合规性和安全漏洞之下。
与影子AI相关的风险

影子AI给组织带来了巨大的风险，甚至远超与传统影子IT相关的风险。从数据泄露到道德困境，未经管理的AI应用可能会产生难以发现且缓解成本高昂的问题。
安全风险

未经授权的AI工具会带来重大的安全风险，主要是当敏感数据在没有适当保护的情况下上传或共享时，十分容易暴露。
例如，使用ChatGPT等免费生成式AI工具的员工可能会无意中上传专有信息，如商业计划或客户数据，平台可能会保留或共享这些信息以用于训练目的。
此外，开发人员下载开源AI模型来加速项目，可能会在不知不觉中引入带有隐藏后门的恶意模型，这些后门会在使用过程中泄露敏感数据。
合规和法律风险

影子AI经常违反数据隐私法律和许可协议，使组织面临监管和法律风险。
例如，医疗保健提供商可能使用未经授权的AI诊断工具，在不知情的情况下将患者数据上传到不合规的服务器，从而违反了HIPAA或GDPR等法规，并招致巨额罚款。
同样地，一个团队可能会使用具有限制许可条款的数据集来训练机器学习模型，并且在商业化后，该组织可能会面临侵犯知识产权的法律诉讼。
伦理问题

在没有适当监督的情况下部署的AI工具可能会使偏见永久化，做出不公平的决定，缺乏透明度，导致重大的道德和声誉问题。
例如，基于偏见数据训练的招聘工具可能会无意中将合格的候选人排除在代表性不足的群体之外，从而加剧系统性不平等。
同样地，使用不透明的AI模型的客户信用评分系统可以在没有明确解释的情况下拒绝贷款，从而侵蚀信任并损害组织的可信度。
操作风险

影子AI经常导致系统碎片化、冗余工作和技术债务，破坏业务运营和效率。
例如，当不同的部门独立地采用AI工具来完成类似的任务时，它会产生效率低下和集成挑战。此外，团队可能在没有适当文档或维护的情况下开发机器学习模型，导致组织无法在模型失败时对其进行故障排除或重建，从而加剧了技术债务和操作风险。
缓解影子AI的策略

影子AI在没有监督、明确政策或可访问工具的环境中茁壮成长。为了缓解其风险，组织需要采取一种主动和全面的方法。
1.创建一个AI治理框架

强大的AI治理框架为在组织内使用AI提供了明确的政策和指导方针，为管理与AI工具和模型相关的风险奠定了基础。这包括为已批准的AI工具、模型开发和数据处理实践建立规则和策略，以及指定可接受的用例，例如数据匿名化需求和许可遵从性。
该框架还应该通过概述AI模型开发、部署、监控和退役过程来实现模型生命周期管理，同时需要全面的数据集、算法和性能度量文档。
此外，任命AI管理者——负责执行治理政策和监督AI项目的个人或团队——确保始终遵守这些标准。
策略示例：“组织内使用的AI工具必须得到IT和安全团队的预先批准。任何上传到外部AI服务的数据都必须匿名化，并遵守相关的数据保护法。”
2.提高认识

教育对于解决影子AI至关重要，员工大多都因缺乏对相关风险的认识而经常使用未经授权的工具。
举办关于AI伦理、数据隐私法（例如GDPR和HIPAA）以及影子AI危险的研讨会和培训课程，有助于建立理解和问责制。通过时事通讯或内部通信进行定期更新可以使员工了解已批准的工具、新政策和新出现的风险。此外，进行模拟演习或桌面场景可以生动地展示影子AI漏洞的潜在后果，加强合规并强调警惕的重要性。
培训实例：组织一场全公司范围的培训课程，题为“影子AI的潜在风险：保护我们的组织”。
3.实施安全控制

安全控制对于监测和限制未经授权使用AI工具，实现早期发现和缓解影子AI活动至关重要。
AI监控工具（如MLFlow和Domino Data Lab）可以跟踪组织内的AI模型开发和部署。API和日志监控解决方案有助于检测与外部AI平台的未经授权的交互。数据泄漏预防（DLP）工具可以识别并阻止将敏感数据上传到未经批准的AI平台的尝试。此外，网络控制（包括已知外部AI服务的黑名单）可以限制对未经授权的AI应用程序的访问，从而加强整体安全性。
4.提供认可的替代方案

由于无法获得满足其需求的批准工具，员工经常求助于影子AI，因此提供替代方案以减少未经授权平台的吸引力至关重要。
进行调查或访谈可以帮助确定员工需要的特定工具，同时将批准的选项集中在文档完备的目录中，确保可访问性和清晰度。此外，为批准的工具提供用户友好的界面和培训，鼓励采用并最大限度地减少对未经批准的解决方案的依赖。
合规性示例：提供对基于云的AI平台（如谷歌Cloud AI或Azure AI）的预先批准访问，这些平台配置了组织安全和合规性策略。
5.鼓励合作

AI计划的有效管理需要促进IT、安全和业务团队之间的沟通和协调，确保AI治理在维护安全性和合规性的同时支持运营目标。
建立跨职能团队，例如由IT、安全、法律和业务单位代表组成的AI治理委员会，可以促进协作和全面监督。
实施反馈循环允许员工要求新的工具或提出对AI治理政策的担忧，确保他们的声音被听到。此外，将AI计划与组织目标结合起来，可以增强它们的重要性，并促进团队的共同承诺。
协作示例：召开季度AI治理会议，讨论新工具，审查合规性更新，并处理员工反馈。
影子AI的未来

随着AI的发展，管理其未经授权使用的挑战也在增加。AI的新兴趋势，如生成模型和基础系统，带来了机遇和风险，进一步放大了影子AI的复杂性。
将AI治理集成到DevSecOps中

AI治理越来越成为现代DevSecOps实践的核心，确保AI生命周期中嵌入安全性、合规性和道德考虑。这包括左移AI治理，即在开发早期集成数据集验证和模型偏差测试等治理检查。
DevOps实践也在不断发展，以整合AI特定的CI/CD管道，包括模型验证、性能基准测试和部署期间的合规性检查。此外，实时监控和事件响应机制，例如针对意外输出或数据完整性违规等异常情况的自动警报，在维护AI系统的完整性和可靠性方面发挥着关键作用。
AI监控工具的进步

新的工具和技术正在出现，以应对监控AI系统的独特挑战，特别是那些自主运行的AI系统。可解释性和透明度工具，如SHAP、LIME和ELI5，允许组织解释模型决策，并确保与道德标准保持一致。
像Arize AI和Evidently AI这样的连续模型监测平台提供持续的性能跟踪，以检测模型漂移或精度下降等问题。基于网络的监控解决方案可以通过标记与未经批准的AI API或平台的交互来自动检测未经授权的AI使用。
生成式AI和基础模型进一步推动影子AI发展

生成式AI和基础模型（如GPT和BERT）大大降低了开发AI驱动应用程序的障碍，增加了影子AI的风险和收益。它们的用户友好性使非技术员工也能创建复杂的AI解决方案，增加了可访问性。
然而，这种易用性使治理复杂化，因为这些工具通常依赖于大型、不透明的数据集，使合规性和道德监督更具挑战性。此外，生成模型可能产生有偏见的、不恰当的或机密的内容，进一步放大组织完整性和声誉风险。
结语：管理影子AI的“双刃剑”

随着组织越来越多地采用AI驱动的解决方案，影子AI既是创新的催化剂，也是重大风险的来源。一方面，它赋予员工解决问题、自动化任务和提高效率的能力。另一方面，它的非管理性也带来了漏洞，涉及数据泄露、违反法规、道德挑战和运营效率低下等诸多问题。
影子AI是AI可访问性和民主化的副产品，反映了技术在现代工作流程中日益重要的作用。然而，其风险也不容忽视。如果不加以控制，影子AI可能会侵蚀信任，扰乱运营，并使组织面临监管和声誉方面的损害。
AI工具在现代工作中无处不在，但它们的潜在好处也伴随着责任。员工和决策者必须做到以下几点：

• 批判性地思考他们采用的工具及其更广泛的含义。
  
• 仔细评估风险，特别是在数据隐私、合规性和道德考虑方面。
  
• 跨团队协作，使AI计划与组织价值观和社会标准保持一致。
  

最终，问题不在于影子AI是否会存在，而在于我们如何管理它。
原文标题：What is Shadow AI? The Hidden Risks and Challenges in Modern Organizations，作者：Sonya Moisset