来自麻省理工学院和哈佛大学的研究小组在医学杂志《柳叶刀数字健康》上发表文章称,该AI程序可以从x光和CT扫描结果中区分患者的种族,准确率高达90%。
这不是一个好消息,因为即使是科学家也没有弄清楚这些AI程序是如何区分种族的。
马尔济耶·加西米
正如本文所提到的,AI诊断系统似乎是根据患者的种族来诊断和治疗患者,而不是根据他们的个人身体状况这种做法会损害病人的健康
研究人员提到了一个案例,其中AI程序在检查胸部x光时,对黑人和女性患者的身体病变有更高的漏检概率。
这项研究的目的是确认人工智能系统可以从医学图像中检测人类种族的程度,以及它们如何从中检测种族信息。
为此,研究团队使用人体不同部位的医学图像来训练AI系统提供给人工智能系统的医学图像不包含明显的种族标记,如头发纹理,肤色,身体质量指数或骨密度
通过测试,研究人员发现AI系统对人类种族的识别准确率高达90%无论身体部位的医学图像是哪一种,AI系统都可以从中识别出种族信息
更令人惊讶的是,即使是严重缺失或损坏的医学图像,AI系统也能从中准确识别出人种。
研究人员更关心的是,人工智能系统可以检测人类本身,但人工智能系统的临床表现会受到这些种族偏见的影响而医生可能会忽略AI系统诊断结果中的错误
目前人类还无法确认AI系统检测到病人种族的医学图像的哪些特征此外,AI可以从身体任何部位的医学图像和严重受损的医学图像中识别患者的种族,这意味着使用医学成像技术创建一个没有种族偏见的AI系统将非常困难
Ghassemi对媒体表示,她猜测,也许医学图像以某种未知的方式记录了患者皮肤中黑色素的水平,这是由AI系统识别的。
根据研究结果,也有可能种族之间存在一些先天的差异。
艾伦·古德曼
在过去的研究中,科学家很难在人类基因组中找到一致的种族差异,但他们往往根据人类祖先的进化找到一致的基因差异因此,人与人之间的基因差异更可能是由于人类个体祖先进化的不同特征,而不是种族
Ghassemi说,在得出明确的结论之前,需要对这个问题进行更多的研究。
我们需要暂停人工智能系统的登陆,麻省理工学院的科学家兼博士利奥·安东尼·切利说我们不能急于将人工智能系统引入医院和诊所,直到我们确认它们没有做出种族主义或性别歧视的决定