欢迎来到2024上海国际医疗器械展览会! 深圳医博会
媒体中心
当前位置:首页 >> 媒体中心 >> 行业新闻 >> 浏览
媒体中心
行业新闻

FDA:基于人工智能(AI)和机器学习(ML)软件的医疗设备执行方案

时间:2021-5-7 17:36:23来源:本站原创作者:佚名点击:

2021深圳国际医疗器械展览会为你解读:

简介及背景


人工智能(AI)和机器学习(ML)技术有望通过从每日生成的大量医疗数据中获取重要信息,从而改变医疗产业。医疗器械生产企业正利用这些技术创新产品,以更好地为从事医疗产业的群体提供服务并改善患者护理。在软件应用中,AI/ML最大的好处之一在于它能够从实际应用和经验中学习并提高性能。FDA的愿景是通过符合产品全生命周期的监管,对基于AI/ML的软件即医疗器械(SaMD)提供安全有效的功能,从而提高为患者服务的水准。


FDA长期致力于将创新技术应用于医疗设备软件和其它数字医疗技术方面的监管,与此一致,FDA在2019年4月发布了“AI/ML软件作为医疗设备(SaMD)的建议监管框架-供讨论和反馈要求”。本文描述了FDA对AI/ML软件修改的市场准入审查的基本观点。文件中描述的想法利用了当前上市前计划的实践,并依赖于国际医疗器械监管机构论坛的风险分类原则、FDA的利益与风险框架、软件修改指南中描述的风险管理原则,数字健康软件预认证(Pre-Cert)试点计划中还设想了基于组织的全产品生命周期方法。


作为这一拟议框架的一部分,FDA在上市前提交的文件中描述了一个“预先确定的变更控制计划”。该计划将包括被称为“SaMD预规范”的预期修改类型,以及以管理患者风险的受控方式实施这些更改的相关方法,被称为“算法更改规程”,FDA希望与生产企业一起达成上市前的开发到上市后的性能的透明度和真实性能的监控。该框架能够让FDA提供在安全性和有效性上的合理保证,将AI/ML软件作为一种医疗设备具备迭代改进的能力。


除了描述拟议的框架外,文件还要求权益方就这一主题提出的18个问题的具有普遍性和特殊性提出反馈意见。该论文引发了该领域的重要讨论和其它响应,并且产生了来自权益者的公开记录里的数百条评论。本文下面提供了概括性的反馈意见的摘要。此外,在同行评审期刊中也有大量的文章讨论或者参考了该文件中提出的建议框架。2020年2月25-26日,FDA举办了一个关于AI在放射成像中不断发展的作用的公开研讨会,讨论了AI在放射成像中的新兴应用,包括自动化放射诊断工作流程以及引导图像采集。本次研讨会中,FDA与权益者一起工作并且确定了在放射成像中使用AI的优势和风险,并讨论了AI自动放射成像软件和图像采集设备验证的最佳实践。


FDA连续收到了大量的有关利用人工智能/机器学习方面产品的上市申请和预申请,我们预计这类的申请随时间还会进一步增多。此外,自文件发布以来,大家对于”基于AI/ML的医疗产品的预定变更控制计划”产生了浓厚的兴趣。


2020年2月7日,FDA宣布通过“新途径”发布了首款使用AI引导用户的心脏超声软件的营销授权。这种突破性装置不仅具有开创性的预期用途,还可用于制造商利用预定的变更控制计划,以纳入未来的修改。针对权益人对讨论文件的反馈,鉴于公共卫生需要通过基于AI/ML的医疗软件促进创新和适时监督,并符合新推出的数字健康卓越中心的使命,FDA在此推出将AI/ML软件作为医疗器械执行方案。在本文档中,我们将简要介绍和总结我们从权益者那里收到的反馈,我们将概述一个包含五个部分的执行方案,以推动该项工作。该方案的五个部分中的每一部分旨在处理特定涉众的反馈,虽然侧重于SaMD,但也涉及其他医疗领域,包括SaMD中的软件。


AI/ML软件作为医疗器械行动计划


这一基于AI/ML的软件作为医疗器械的行动计划,是由直接回应本文所陈述的利益相关者的反馈意见而建立的,它建立在该机构长期致力于支持医疗器械软件和其他数字健康技术监管创新工作的基础上。为了继续推进AI/ML文件中的概念,对AI/ML的SaMD和整个领域进行实际监督,机构确定了以下行动:

1

基于AI/ML的SaMD定制监管框架

我们所听到的:权益人为进一步开发基于AI/ML的SaMD的拟议监管框架提供了许多建议,包括文件中描述的预定变更控制计划。

我们将要做的:更新AI/ML的SaMD的拟议框架,包括通过发布关于预定变更控制计划的指南草案。

文件提出了一个修改基于AI/ML的SaMD的框架的建议,该框架依赖于“预定的变更控制计划”的准则。如上所述,SaMD预规范(SPS)描述了是“哪个”方面,生产企业需通过学习作何改变,算法改变规程(ACP)解释了算法在保持安全和有效的同时,“如何”去学习和改变。权益人支持监管机构随时间进程而简化和改进算法,许多开发人员也积极主动地参与监管部门的合作,以便将来对其设备进行修改。权益人就SPS/ACP中可能包含的要素提供了具体反馈,以支持SaMD及其相关算法因时间变化的安全性和有效性。本指南草案将包括SPS和ACP中应包含的内容,以支持AI/ML SaMD算法的安全性和有效性。

除了收到有关SPS和ACP的评论外,在其它领域也有反馈意见。人们普遍同意,在对基于AI/ML的软件设备的修改类型是相关的和适当的。但是,还有其它修改类型的建议,也应该隶属于这一框架之内。此外,监管机构还收到了一些问题和建议,它们涉及到预定变更控制计划的“集中审查”的内容、流程和时间表等方面。

FDA致力于在白皮书中提议的框架的开发方面取得进一步进展。基于社区对于预定变更控制计划的强烈兴趣,监管机构打算发布该领域的指导意见草案并且征询公众意见。该指导草案将包括关于SPS和ACP中应该包括哪些内容,以支持AI/ML的SaMD算法的安全性和有效性。监管机构将会利用在基于AI/ML的SaMD的讨论中收到的建议和最近的有关提交申请的经验。我们预计目标在2021年公布这一指南草案。其它发展领域将包括对确定框架下适当内容和类型作出进一步修改完善,以及重点审核的细节,包括提交/审核的过程以及提交申请的内容。对于这些更新工作,社区的继续参与和建议都是至关重要的因素。

2

良好机器学习实践(GMLP)


我们所听到的:权益人对GMLP的理念和重要性提供了强有力的普遍性的支持,一些人呼吁FDA通过协商一致的标准努力和其他社区倡议,来鼓励协调GMLP的发展。

我们将要做的:鼓励将GMLP的发展协调一致。

在白皮书中用了”良好机器学习规范”或者”GMLP”一词,以描述一组类似于良好软件工程的AI/ML最佳实践(例如,数据管理、特征提取、培训、可解释性、评估和文档)实践或质量体系实践。这些实践的开发和采用不仅对于指导行业和产品开发,而且对生产企业遵守最佳实践和/或标准来促进这些复杂产品的监督非常重要。截止目前,FDA已努力描述可能包含GMLP的标准和最佳实践。此外,有人要求FDA鼓励协调制定全球监测计划,包括标准化制定和协作社区。例如,FDA与电气和电子工程师学会(IEEE)P2801人工智能医疗器械工作组和国际标准化组织/联合技术委员会1/第42小组委员会(ISO/IEC JTC 1/SC 42)-人工智能保持联络,并参与该协会促进医疗仪器(AAMI)/英国标准协会(BSI)关于医疗技术人工智能的倡议。今年,FDA正式成为Xavier AI世界联盟协作社区和病理创新协作社区的成员,此外,它还参与了眼科成像合作社区。该机构还参加了国际医疗器械监管论坛(IMDRF)人工智能医疗设备(AIMDs)工作组。作为这项行动计划的一部分,FDA承诺深化其在这些社区的工作,以鼓励达成共识。

3

以患者为中心,对用户透明

我们所听到的:权益人呼吁与FDA进一步讨论基于AI/ML的技术如何与人互动,包括对用户和患者更广泛的的透明度。


我们将要做的:跟进FDA近期的“基于AI/ML的设备上患者参与的咨询委员会会议”,我们将举办公开研讨会,讨论设备标签如何支持对用户的透明度,以及增加对AI/ML设备的信任度。


FDA认知,基于AI/ML的设备有被人独特的关虑的特点,因此需要考虑到的问题是以患者为中心的积极主动的开发和利用方法,包括其可用性、公平性、信任度和责任等问题。FDA解决这些问题的方法之一是通过向用户和患者宣传这些设备的功能以提高透明度,这是以患者为中心的关键。我们相信,这个对于基于AI/ML的医疗设备尤其重要,因为它可能随时间变化而学习和改变, 并且可能将那些具有一定程度上的不透明性的算法组合进来。


不少的人认为,在AI/ML的设备上贴标签是一个独特的挑战,制造商需要明确描述用于培训算法的数据、其输入的相关性、所采用的逻辑(如果可能),输出后发挥的作用,以及设备性能的证据。权益人将积极表达了对FDA的兴趣, 主动澄清其在AI/ML技术透明度方面的立场。

该机构致力于支持以患者为中心的方法,包括向用户公开功能,以确保用户了解设备的好处、风险和局限性。为此,2020年10月召开的患者参与咨询的(PEAC)会议,专门讨论基于AI/ML设备,以便让患者了解哪些因素会影响他们对技术的信任。该机构目前正在汇编本次PEAC会议期间收集的信息;下一步是举办公共研讨会分享经验教训,并从更广泛的社区中获取关于设备标签如何支持用户透明的信息。FDA建议制造商在AI/ML类医疗器械标签中包含相关信息,以支持对用户的透明度。

4

与算法偏差和耐用性相关的监管科学方法


我们所听到的:权益人描述了改进方法的必要性,以评估和解决算法偏差,并提高算法的稳健性。


我们将做的:支持监管的科学努力,以开发方法学来评估和改进AI/ML算法,包括识别和消除偏差以及评估和提高算法稳定性。

偏差和普遍性不是AI/ML设备独有的问题。AI/ML系统是使用历史数据集的数据开发和训练的,所以容易受到偏差的影响,并反映数据中存在的偏差。众所周知,医疗服务会因种族、民族和社会经济地位等因素的差异而不同,因此,医疗系统中的偏差会无意中引入到算法中,医疗设备非常适合于多元化种族和族裔的预期患者群体,需要改进识别和改进ML算法,包括识别和消除偏差的方法,以及这些算法的结构稳定性和弹性,以承受不断变化的临床输入和条件。FDA正在支持许多监管科学研究工作,以开发这些方法来评估基于AI/ML的医疗软件。这项工作是通过与主要研究人员的合作进行的,包括加州大学旧金山分校(UCSF)、斯坦福大学和约翰霍普金斯大学的监管科学与创新卓越中心(CERSIs)。

5

真实世界性能(RWP)


我们所听到的:权益人述说了对AI/ML软件的真实世界性能(RWP)方面的监控方式,需要有明确的指导。


我们将做的:与正在试验AI/ML的SaMD的RWP过程的权益人合作讨论。


文件阐述了以下的概念:完全采用全产品生命周期(TPLC)方法来监督AI/ML的SaMD,对SaMD应用程序的修改可以通过收集和监控真实世界的数据来支持。收集真实世界中SaMD使用的性能数据可以让生产企业了解其产品是如何被使用的,进而有机会改进;并对安全性或可行性问题作出主动响应。真实世界的数据收集和监控是一个重要的机制,生产商可以利用它来降低AI/ML的SaMD修改所涉及的风险,以支持对特定市场准入申请中的收益-风险特征的评诂。


权益人提出了许多问题,其中包括:哪种类型的参考数据适合在现场用于测量AI/ML软件设备性能时?对每个权益人适合执行多少监督?应向监管机构提供多少数据。以及提交多少次数?如何验证和测试算法、模型和声明?如何将终端最终用户的反馈意见纳入AI/ML的SaMD培训和评估中?总体而言,权益人的反馈表明,需要在这一领域的明确和指导。

作为该项执行计划的一部分,监管机构将支持通过在自愿的基础上与权益者合作,以支持真实世界实际性能监测的试点。这将与其他正在进行的FDA计划协调完成,这些项目的重点是使用真实世界数据。本工作旨在帮助FDA开发一个框架,该框架可用于无缝收集和验证现实世界中AI/ML的SaMD相关RWP参数和度量。此外,所进行的评估可用于确定AI/ML SaMD RWP最关键的指标的阈值和性能评估,包括可用于主动响应安全和/或可用性问题的指标,以及从终端用户处获得反馈。这些努力将会包含有公众的参与和互动。


结论


FDA非常感谢大家提供了对基于AI/ML的医疗软件方面与监管方法相关的反馈意见, 包括通过公开摘要,研讨会和社区其它活动,同行评审的出版物,以及市场准入的申请文件。

本行动计划中描述的作为医疗器械行动计划的AI/ML软件是为直接响应这一反馈而开发的,旨在作为一种多管齐下的方法,进一步推进机构对这些技术的监督。继续让权益者参与对这项工作至关重要,这将通过与FDA最近公布的“数字健康卓越中心”一起協作进行。

概括如下,作为本行动计划的一部分,FDA强调了以下预期行动和目标:

• 对AI/ML的SaMD讨论文件中提出的拟议监管框架进行更新,包括通过发布关于预定变更控制计划的《指南草案》。

• 通过FDA更多参与协作社区和共识标准制定工作,加强FDA对协调发展GMLP的鼓励。

• 支持以患者为中心,继续主持关于透明度对AI/ML的设备用户的作用的讨论。在2020年10月患者参与咨询委员会(PEAC)会议的基础上,重点讨论了患者对AI/ML技术的信任,举办了一个关于医疗器械标签的公共研讨会,以支持AI/ML器械用户的透明度。

• 支持监管科学努力,开发评估和改进机器学习算法的方法,包括识别和消除偏差,并支持这些算法的结构稳定性和弹性,以能够承受不断变化的临床输入和条件。

• 与权益人和其他FDA计划协调,推进真实世界的绩效试点,以进一步明确AI/ML的SaMD的真实世界证据生成计划可能是什么样子。


联系方式


FDA意识到基于AI/ML的SaMD是一个快速发展的领域。随着我们开展这些活动并且寻求对这一领域提供更明确的指导,我们预计这一《行动计划》将会进一步更新。我们欢迎您通过以下公开文件(FDA-2019-N-1185)继续提供反馈意见,FDA网址为:www.regulations.gov. 我们期待着与您合作。“数字健康卓越中心 ”的电子邮件联系方式:digitalhealth@fda.hhs.gov


审校:Young Wang (王永强博士)翻译及整理:木霖森

本文来源为其他媒体的内容转载,转载仅作观点分享,版权归原作者所有,如有侵犯版权,请及时联系我们。