港大工程研究团队崭新算法

REFERS的工作流程：首先将第k个病例中包含的所有X射线影像送入X射线影像transformer模型中，之后将transformer模型输出的不同角度的特征通过一种注意力机制进行融合；上述学习过程通过影像报告生成和影像-报告配对这两个任务进行约束。图a，整体流程概览。图b，X射线影像transformer模型的网络架构图。图c，多视角特征融合的注意力机制。图d，影像报告生成和影像-报告配对两种任务的概览。

 (原新闻稿已于4月12日发布)

医学图像能提高各类疾病治疗的精确性、可靠性，促进疾病治疗的发展，是现代医疗的重要组成部分。人工智能的广泛使用亦进一步优化图像分析技术。

在NIH ChestX-ray 数据集上，REFERS 在利用不同比例的专家标签时的性能。当REFERS取得与Model Genesis和ImageNet预训练接近的性能时，REFERS仅仅需要10%的专家标签。图中的三种方法都使用了基于transformer的相同网络架构。

然而，采用人工智能算法的常规医学图像诊断，需依靠大量人手负责标注，为模型训练提供监督信号，过程耗费大量人力和时间，成本代价极高。

香港大学（港大）工程学院的研究团队开发出一种崭新人工智能演算方法REFERS（Reviewing Free-text Reports for Supervision），能够从数十万份X射线影像报告中自动获取监督信号来训练预测模型，大幅减省人力成本达90%，其预测的准确度更超越用全由人手标注的数据训练的人工智能医学图像诊断模型。

俞益洲教授

此项技术突破为实现通用医疗人工智能迈出重要的一步，研究成果已于《自然-机器智能》期刊发表，文章题为 “Generalized radiograph representation learning via cross-supervision between images and free-text radiology reports”（《通过图像与文本X射线影像报告之间的交叉监督，学习通用的X射线影像特征表达》）

「由人工智能推动的医学图像诊断极具潜力，可以减轻医学专家的工作量及提高诊断效率和准确性，其中包括节省诊断时间及检测一些不易察觉的异常迹象。」领导研究团队的港大工程学院计算机科学系俞益洲教授说。

目前，采用人工智能算法的常规医学图像诊断通常透过两个步骤获得准确的标签。放射科医生的一项临床常规工作是为每位病人X射线影像撰写文本报告。然后，负责标注的人员须使用人工定义的规则及现有的自然语言处理（NLP）工具，从这些报告中提取和确认结构化标签，而每个用到的标签须制定一份列表，列出其它拼写、同义词和缩写方式。所提取之标签的准确性，最终取决于有关人员的工作质量及各种自然语言处理工具的成效。

REFERS利用人工智能直接从文本报告中学习X射线特征表达。与严重依赖人手标注的传统方法相比，REFERS能够自动从文本报告中的每个词获取监督信号，用以训练人工智能神经网络精确解读X射线影像。

「我们相信由医生撰写的X射线影像报告中抽象而复杂的逻辑推理语句能够为训练X射线影像的视觉特征提供足够的资讯。」俞教授说。

研究团队利用公开数据库37万份X射线影像和文本报告作为训练模型的基础，当中包含14种胸肺相关疾病包括肺不张、心脏肥大、胸腔积液、肺炎和气胸等医疗诊断数据。

在训练预测模型的过程中，团队仅使用100张X射线影像便已建立了一个初步令人满意的X射线影像识别模型，其预测准确度达83%。当使用的影像增加到1,000张，模型更展示出惊人的性能，预测准确度达88.2%，超越了用放射科医生标注的10,000张X射线影像进行训练的模型（准确度87.6%）。而当用作训练的影像增加到10,000张，模型的准确度更达到90.1%。而一般来说，预测模型的准确度达85%以上， 已可作实际临床诊断应用。

开发REFERS主要涉及两个关键任务。在第一个任务中，REFERS将X射线影像编码后再解码为文本报告（预测结果），然后与医生的文本报告（实际结果）比较来训练和更新模型。在第二个任务中，REFERS将医生的文本报告编码为特征，对照X射线影像的特征编码作对比学习，进一步精确预测模型。

「利用REFERS，我们成功地将数据标注量降低了90%（见上图），从而降低开发成本并同时提高数据处理量和速度，预测准确度也有提高，这为实现通用医疗人工智能迈出重要的一步。」论文第一作者周洪宇博士说。

如欲了解此项技术突破的更多详情，请浏览https://www.nature.com/articles/s42256-021-00425-9。