糖尿病视网膜病变眼底图像辅助诊断软件注册审查指导原则的审查要点对算法研究资料要求

糖尿病视网膜病变眼底图像辅助诊断软件注册审查指导原则的审查要点对算法研究资料要求如下：

应基于《人工智能医疗器械审查指导原则》第四章生存周期过程、第五章技术考量、第六章算法研究资料的所有相关要求提供算法研究报告或算法更新研究报告，以及人机交互研究资料，认为不适用的应详述理由。在核心功能糖网二分类之外包括其他相关子功能的应分别提供资料，在能清晰区分的前提下，相同内容宜合并，有接口关系的算法/功能应统筹提供资料。根据本产品特点需要细化之处如下。

1.算法基本信息

（1）糖网分类算法的输入应明确支持的拍摄方式、拍摄范围、相机型号，输出应分别明确算法的输出和自动生成的诊断结论；

（2）图像质量判定算法应明确可识别的不良质量类型或程度，给出判定规则的依据，明确对于不同质量的图像后续是否均进行分析，结果是否有其他使用限制。

（3）部署在云服务器的应说明服务器的物理位置；

（4）软件组件应描述与产品其他组成部分的功能接口和用户接口。

2.算法需求规范

产品设计应充分考虑我国糖网相关诊疗指南、方案，跟踪最新版本，如《我国糖尿病视网膜病变临床诊疗指南（2014）》、《我国糖尿病视网膜病变筛查的图像采集及阅片指南（2017）》、《糖尿病视网膜病变分级诊疗服务技术方案（2017）》等。

明确产品的使用场景、使用者、适用人群，如允许操作者不同于报告签署人，应分别描述。

明确图像质量控制的方式，即达到什么要求的图像可供算法分析，尤其应描述算法在图像质量不佳情形下的处理方法（如：不进行分析，或在给出分析结果时明确提示图像质量不佳的负面影响）。明确图像质控过程中使用者和算法（若有）的职责。

明确算法训练数据集要求，明确预期采集各糖网分期样本、阴性样本、相似/相关的疾病/症状样本的数量和分布要求，明确相机型号/种类、拍摄方式（散瞳、免散瞳）、拍摄范围、分辨率的要求，以及人群分布（性别、年龄、地域、基础疾病等）、医院级别、医院数量等要求。应纳入一定量相似/相关的疾病/症状样本，即与糖网症状类似或具有相关性疾病患者的图像。

明确算法性能设计目标，应给出核心功能糖网二分类的敏感性、特异性，明确设定依据，应能够满足预期临床使用需求，其他辅助功能参考《人工智能医疗器械注册审查指导原则》的建议设定性能设计目标。

3.数据质控

（1）数据采集

应明确不同眼底相机的拍摄方式、拍摄范围、采集过程的不同要求，详述采集过程的人员管理、流程管理、质量评估要求。若使用历史数据，至少应明确采集设备和采集特征，对其他要求开展差异分析，追溯数据的生成过程，论证采集和标注过程的科学性、规范性。

（2）数据整理

明确经数据清洗弃用数据的原因和数量。数据预处理环节应采用典型图片和流程图说明处理过程和每一步处理的结果。原始数据库的预处理过程若与产品中算法运行的预处理过程存在差异，应通过比较来说明。

（3）数据标注

建议列表给出标注、审核、仲裁人员的基本信息，如科室/专业、职称、工作年限、所在机构、培训考核情况、工作量，若有外国人员则需明确其资质要求。宜采用流程图介绍单张图片的标注、审核、仲裁过程。若标注较复杂宜采用典型图片加流程图说明每一步的标注内容以及特殊情况处理，简述全部图片标注的管理过程、时间周期，特别是标注周期内的质量评估。若用于不同功能做标注的数据集与数据量有所区别，应明确具体情况。

（4）数据集构建

对于标注前的基础数据库，标注后划分的训练集、调优集、测试集，应给出样本量和分布情况及其确定依据，以及集合划分的方法、依据。应注意保证糖网I期、II期样本的数量。样本分布应主要考虑相机种类/型号、拍摄方式（散瞳与否）、拍摄范围、合并相似/相关的疾病/症状等因素，兼顾人群分布（性别、年龄、地域、基础疾病等）、来源医院等因素。可进行数据扩增，应符合《人工智能医疗器械注册审查指导原则》的要求。

4.算法验证与确认

（1）算法性能评估

基于测试集提供假阴性与假阳性、重复性与再现性、鲁棒性/健壮性等算法性能指标评估结果，以证明算法性能满足设计目标。亦可基于第三方数据库开展算法性能评估。

若有图像质量判定模块，应选择合适的评价指标验证图像质量分级算法性能。

（2）算法性能影响因素分析

应进行算法性能影响因素分析以提升算法可解释性，详述影响算法性能的主要因素及其影响程度，基于分析结果明确产品使用限制和必要警示提示信息。

核心功能糖网二分类的主要性能影响因素包括但不限于相机种类/型号、拍摄方式（散瞳与否）、拍摄范围、合并相似/相关的疾病/症状、图像质量，还可能受人群分布（性别、年龄、地域、基础疾病等）、来源医院等因素一定影响。应针对不同因素分别建立子数据集进行测试，以了解这些因素的影响程度。对于其他功能模块，应基于产品特征初步分析识别可能对性能产生影响的因素后进行分析。

对于某一影响因素，可建立多个包含单一因素的子集和一个包含所有子集的合集（必要时）分别进行性能测试，统计分析各集合性能差异，评价影响程度。对于预期对性能有显著影响且存在相互关联的不同影响因素，也可建立包含多因素的子集进行分析，如有A、B两个因素，每个因素有2种情况，可形成分别仅包含A1B1、A1B2、A2B1、A2B2因素的4个子集。其中，处于分界点处的糖网I期、II期分类的准确性对产品性能起关键影响，应单独建立测试集验证。各集合应保证具有足够的样本量，性能评估结果应给出中心值和95%置信区间。各子集宜以产品研发时标注数据库中的测试集为主，当某一待评价因素的样本量较少或没有时（如测试集只包括A型、B型眼底相机的图像，从其他数据集纳入C型相机的图像），可补充其他数据集的样本，如临床试验、真实世界、第三方测试等的样本，但合并在一个子集的数据其标注规则应基本一致。简述各子集的构建情况，如数据来源、标注过程、标准规则、样本分布等。

（3）算法性能综合评价

按照《人工智能医疗器械注册审查指导原则》开展算法性能比较分析和算法性能综合评价。自建测试数据集测试、临床试验、真实世界应用、第三方数据库测试、压力测试、对抗测试等均可视为算法性能评估场景。应分别简介各数据集的构建情况，如数据来源、标注过程、标注规则、样本分布（至少应体现相机型号、拍摄方式、拍摄范围、相似/相关疾病/症状的情况）等，列表给出主要性能评价指标，结合数据集构建和性能评价结果对产品性能综合评价。针对训练样本量和测试样本量过少、测试结果明显低于算法设计目标、算法性能变异度过大等情况，对产品的适用范围、使用场景、核心功能在产品适用范围、产品技术要求、说明书、产品界面等处明确使用限制；针对其他对算法性能影响较小的因素，给出必要的提示信息。

5.人机交互研究资料

本产品核心功能单一，结果明确，但使用场景局限，不仅不能替代医生，更需要操作者充分了解产品的特点、使用限制和注意事项。应制定操作者培训和考核方案，并验证方案的可行性。

软件生成的报告应可修改，由具有糖网诊疗资质的执业医师签字确认后生效，上述医生应已具备基于眼底照片进行糖网分期诊断及易混淆病症辨析的能力，经过产品培训，还应具有以下能力：1.能够判定拍摄范围和拍摄质量能否达到申报产品处理要求；2.结合软件给出结果，根据自己的判断对自动生产报告进行修改或重新拍摄、分析；3.了解算法的限制和注意事项，结合患者临床情况做出综合判断，给予患者必要的口头医嘱和/或在报告上附加信息。注意，某些产品虽然具有图像质量判断模块，但由于软件验证无法穷举所有图像质量不合格情况，仍需由医生对图像质量做最终判断。

培训方案应包括但不限于：软件基本操作、图像质量判定、软件的使用限制和注意事项。培训考核应纳入适当的医生数量和测试样本数量，评价点除糖网分期诊断，还应包括上述能力。参加考核的医生应与预期使用产品的医生在培训前具有等同能力，以验证培训方案的可行性。

温馨提示：内容来自《糖尿病视网膜病变眼底图像辅助诊断软件注册审查指导原则（征求意见稿）》非正式版本，如获取正式版内容，需通过正规渠道获取，本篇文章内容仅做参考！

温馨提示，本站部分内容来源网络，如有侵权，请联系删除！

道和思源（北京）科技有限公司成立于2014年，专注于医疗器械法规咨询服务，致力于为客户将安全、有效和合规的医疗器械产品迅速推向并占领全球市场，是中国领先的医疗器械CRO创新服务企业。主要服务项目有：进口一类医疗器械备案、进口二类医疗器械注册、进口三类医疗器械注册、国产三类医疗器械注册、医疗器械软件注册、临床实验、创新医疗器械申报港澳台医疗器械注册等。