适用场景
适用于在美国市场开发和上市药品及生物制品，并计划或已在研发、生产或监管提交过程中采用人工智能（AI）技术的中国出海企业。
核心要点
1. FDA AI指南的背景与适用范围
美国FDA发布了关于在药品和生物制品开发中使用AI支持监管决策的指南草案，旨在规范AI产出信息或数据用于评估产品安全性、有效性和质量的场景。该指南不涉及AI在药物发现初期或不影响患者安全、药物质量的运营效率提升方面的应用。
2. 核心：风险导向的可信度评估框架
指南的核心是建立一个基于风险的可信度评估框架，旨在帮助企业规划、收集、组织和记录信息，以证明AI模型输出在支持监管决策时的可信度。这一框架是企业确保AI应用合规性的关键。
3. 非强制性与早期沟通的重要性
该指南是非强制性的参考文件，但FDA强烈鼓励企业根据自身运营和风险情况调整并建立AI治理标准。FDA特别强调与监管机构进行早期、积极的沟通，以就AI治理框架的范围、内容和实施措施达成一致。
4. 可信度评估的七大步骤
框架涵盖了从定义关注问题、明确AI模型使用场景、评估模型风险（模型影响和决策后果），到制定并执行可信度评估计划、记录结果及偏差，并最终判断模型是否足以支持特定使用场景的七个步骤。若评估不足，企业需采取措施提升模型可信度或调整使用场景。
5. 行业反馈与未来关注点
公众评论反映了对指南的复杂性和行业担忧，包括对大型语言模型（LLM）与传统机器学习模型区别对待的需求、对可解释AI与黑盒模型差异化监管的呼吁、对模型偏差、过拟合、可解释性、泛化能力及伦理风险缺乏具体缓解措施的关注，以及商业秘密保护和数据隐私、算法偏见等伦理考量。
实务建议
- 立即审视并强化企业内部的数据和AI治理框架，建立健全的风险管理机制，确保AI应用符合内部标准和外部监管要求。
- 针对涉及FDA监管提交的AI工具使用，提升管理层意识和专业知识，并积极与FDA进行早期沟通，讨论AI模型风险及可信度评估计划，争取监管机构的指导和反馈。
- 在AI模型设计和应用中，详细定义“关注问题”和“使用场景”，并基于“模型影响”和“决策后果”全面评估AI模型风险，为后续的风险管理措施提供依据。
- 制定详细的可信度评估计划，涵盖数据治理、模型训练方法、性能基准和技术策略，并严格执行，记录所有结果和偏差，确保模型的可追溯性和透明度。
- 特别关注AI模型的伦理和隐私问题，包括数据安全、算法偏见、患者安全和公平性指标，确保合规性并避免潜在的法律和声誉风险。
- 对于不同类型的AI模型（如LLM或可解释AI），应考虑其特性，并准备相应的评估标准和合规策略，避免一概而论。
风险提示
- 误解指南的非强制性，忽视与FDA早期沟通的重要性，可能导致后期合规成本增加或审批受阻。
- 未能充分评估AI模型的潜在风险（如模型偏差、不准确性对患者安全和产品质量的影响），可能导致监管决策失误和严重后果。
- 忽视数据治理、数据隐私和伦理考量，可能引发数据泄露、算法歧视等法律和声誉风险，损害企业形象。
- 未能针对大型语言模型（LLM）或可解释AI等新兴技术特点调整合规策略，可能导致评估标准不适用或不充分，无法满足监管要求。
- 在透明度要求下，未能有效平衡商业秘密保护与监管机构对模型细节披露的需求，可能面临两难境地。