澎湃Logo
下载客户端

登录

  • +1

MIT、哈佛新研究:AI看X光片就能识种族,工作原理成谜

澎湃新闻记者 邵文
2022-05-18 20:43
来源:澎湃新闻
科学湃 >
字号

医生无法仅通过X光片来判断某人是黑人、亚洲人还是白人。但是,根据麻省理工学院(MIT)和哈佛医学院等的科学家团队的最新研究发现,计算机可以做到。

 

研究发现,受过训练的AI模型可以以90%的准确率预测一个人的种族。但进行这项研究的科学家表示,他们不知道AI是如何做到的。该论文于近日发表在医学杂志《柳叶刀数字健康》上。

“当我的研究生向我展示这篇论文中的一些结果时,我实际上认为这一定是一个错误,”麻省理工学院电气工程和计算机科学助理教授、该论文的合著者Marzyeh Ghassemi说,“当他们告诉我的时候,我真的以为我的学生疯了。”

AI诊断模型在医学影像读片中的表现优异并不是令人惊讶的事,但这个识别种族的本领之所以引人关注,一方面是其工作原理仍是谜团,另一方面,人们不得不担忧人工智能可能会放大医疗领域现有的种族差距。

如2019年在《科学》发表的研究(Dissecting racial bias in an algorithm used to manage the health of populations)发现,美国一个每年管理约2亿人医疗的算法,建议为黑人患者提供额外护理的概率只有白人患者的一半。因为黑人通常比患有相同病症的白人获得更低的风险评分,所以黑人必须比白人的病更重,才能获得帮助。

《波士顿环球报》称,在人工智能软件越来越多地用于帮助医生做出诊断决定的时候,这项研究提出了一个令人不安的前景,即基于人工智能的诊断系统可能会无意中产生带有种族偏见的结果。例如,人工智能(可以使用X射线)可以自动为所有黑人患者推荐特定的治疗方案,无论它是否最适合特定的人。同时,病人的人类医生不会知道人工智能的诊断是基于种族数据的。

“我们问自己,如果计算机不能分辨一个人的种族,那怎么可能?”另一位合著者、哈佛医学院副教授Leo Anthony Celi说。这项研究工作即开始于,科学家注意到检查胸部X光片的AI有更可能错过黑人患者疾病的迹象。

该研究团队首先使用X射线和CT扫描的标准数据集训练了一个人工智能系统,其中每张图像都标有人的种族。这些图像来自身体的不同部位,包括胸部、手部和脊柱。计算机检查的诊断图像不包含明显的种族标记,如肤色或头发质地。该程序通常能以远高于90%的惊人准确率识别出图像中人的种族。

工作原理是什么?

对这个问题,Ghassemi及其同事们仍感困惑,她怀疑这与黑色素有关,黑色素是决定肤色的色素。也许X射线和CT扫描仪检测到深色皮肤中较高的黑色素含量,并以人类用户以前从未注意到的某种方式将这些信息嵌入数字图像中。这还需要更多的研究才能确定。

那么,这样的测试结果是否证明了不同种族之间的先天差异?在接受《波士顿环球报》采访时,汉普郡学院生物人类学教授、《种族主义不是种族》一书的合著者艾伦·古德曼(Alan Goodman)不这么认为。古德曼对论文的结论表示怀疑,并表示他怀疑其他研究人员能否重现这些结果。但即使能重现,他认为这一切都是与地理有关,而不是种族。

古德曼说,遗传学家没有发现人类基因组存在重大种族差异的证据。但他们确实根据祖先居住的地方发现了人与人之间的重大差异。

“如果他们不使用种族,而是查看某人的地理坐标,机器也会这样做吗?”古德曼答道,“我的感觉是机器也能做到。”

换句话说,人工智能可能能够通过X射线确定一个人的祖先来自北欧,另一个人来自中非,第三个人来自日本。古德曼说,“你称这是种族,我称之为地理差异。” 即便如此,他承认目前尚不清楚人工智能如何仅通过X射线检测到这种地理差异。

Celi认为,医生应该会不愿意使用可能会自动产生偏见结果的AI诊断工具。他说道,“我们需要暂停一下。在我们确定其没有做出种族主义决定或性别歧视决定之前,我们不能急于将算法带到医院和诊所。”

    责任编辑:李跃群
    校对:刘威
    澎湃新闻报料:021-962866
    澎湃新闻,未经授权不得转载
    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈