主页 > 趋势制造 >人脸辨识準确率黑人比白人差很多,主要受限于资料库与光影呈现问题 >


人脸辨识準确率黑人比白人差很多,主要受限于资料库与光影呈现问题


2020-06-16

人脸辨识準确率黑人比白人差很多,主要受限于资料库与光影呈现问题

纽约时报 2 月 9 日发表了一篇文章,指出如今非常热门的 AI 应用人脸辨识,不同种族的準确率差异甚大。其中,黑人女性的错误率高达 21%~35%,而白人男性的错误率则低于 1%。

文章参考 MIT 媒体实验室(MIT Media Lab)研究员 Joy Buolamwini 与微软科学家 Timnit Gebru 合作的一篇研究论文《性别图谱:商用性别分类技术的种族準确率差异》(Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification)的资料。

论文作者选择了微软、IBM 和旷视(Face++)3 家人脸辨识 API,测试性别判定的人脸辨识功能。以下为两组準确率差异最大的人群。

人脸辨识準确率黑人比白人差很多,主要受限于资料库与光影呈现问题

一组 385 张照片中,白人男性的辨识误差最高只有 1%。

人脸辨识準确率黑人比白人差很多,主要受限于资料库与光影呈现问题

一组 271 张照片中,肤色较黑的女性辨识误差率高达 35%。

论文研究使用了自行收集的一组名为 Pilot Parliaments Benchmark(PPB)资料库测试,包含 1,270 张人脸,分别来自 3 个非洲国家和 3 个欧洲国家。

判断照片人物性别方面,以下是论文作者测试后得到的关键发现:

需要指出的是,3 家人脸辨识 API 都没有很详细解释使用的分类法,也没有提及使用的训练资料。

不过,微软在服务中表明「不一定每次都有 100% 準确率」;Face++ 则特别在使用条款表明调校确性不予保证。

关于可能的原因,纽时表示,目前人工智慧是资料为王,资料好坏和多寡会影响 AI 的智慧程度。如果训练 AI 模型的资料集中,白人男性的资料多于黑人女性,那幺系统对后者的辨识能力就会不如前者。

现有的资料集中这现象,比如根据另一项研究发现,一个广泛使用的人脸辨识资料集中,75% 都是男性,同时 80% 是白人。

旷视回覆表示,深色人种资料集相对难获得,所以会差一些;另外,使用 RGB 镜头人脸辨识时,深肤色人的特徵较难找,特别是在光线不足条件下,这也是另一个原因。

IBM 回应:论文版本太老,新版已改善

针对 Buolamwini 和 Gebru 的论文发现,2 月 6 日,IBM 在自家 IBM Research 部落格发表了一篇回应文。

文章并未否认论文的发现,而是指出,IBM 的 Watson Visual Recognition 服务一直在持续改善,最新发现将于 2 月 23 日推出的新版服务,使用比论文更广泛的资料集,拥有强大的辨识能力,比论文的错误率有近 10 倍下降。

文章表示 IBM Research 用类似论文方法进行实验,发现如下:

人脸辨识準确率黑人比白人差很多,主要受限于资料库与光影呈现问题

结果显示整体错误率都很低,虽然肤色较黑的女性错误率仍是所有人群最高,但较论文结果有很大下降。

旷视回应:深肤色人种辨识错误率高是普遍现象,商用产品会改善

针对这篇论文向旷视询问,对方给予了非常详细的解答。旷视首先对论文的研究方法表示认可,但同时指出研究所用的线上 API 是较旧版本,商用产品不会出现这类问题;且此类问题是业界普遍都有,不仅限于测试这 3 家。原因主要有两点,一是缺乏深色人种资料集,二是深色人种人脸特徵较难撷取。

以下为回应全文:

AI 真有歧视吗?

根据纽时报导,论文作者之一黑人女性 Buolamwini 做这项研究之前,曾遇到过人脸辨识无法辨识她的脸,只有在她戴上一张白色面具时才行,因而引发了她开启这项研究。很明显,这项研究尝试探讨 AI 时代是否有社会不公甚至种族歧视的问题。

种族歧视是非常敏感的话题,许多事情只要沾上边就会引发强烈反弹。在人脸辨识这块,无论论文作者的研究,还是厂商的实验,都明确发现女性深色人种辨识误差率更高。但这就能代表 AI 歧视吗?

显然并不是,细究其中原因,之所以肤色较深女性较难辨识,除了天然人脸特徵更难撷取,还有可供训练的资料集较少。从市场角度来说,IBM 和微软的服务在白人男性表现最好,是因为其市场主要在欧美,白人占多数;旷视的主要市场在东亚和东南亚,因此黄种人表现会好很多,这跟歧视没有关係,而是市场导向的技术研发。

话又说回来,这篇论文确实显示,AI 的智慧性跟训练资料有很大关係,因此设计 AI 应用时,我们应尽量使用广泛且代表性强的资料,照顾不同人群;同时要积极对公众解释 AI 的达成原理。

最后,这件事表明,鼓励新技术的发展惠及更多少数族裔需要更多人重视,不仅是人脸辨识,还有语言、文化等各方面。

上一篇:
下一篇: