微软删除知名数据集 拨开数据隐私的迷雾

微软在日前删除了一个名人图片数据集。这个本为世界上最大的公开人脸识别数据集，现在已经不能通过微软的渠道访问。

在这次「静默」删除行为背后，又牵扯到了哪些问题呢？

微软想解决的麻烦：MS Celeb 名人数据集

MS Celeb 1M 数据集，最早是微软在 2016 年发布，其中共包含了10 万个名人，近 1000 万张面部图片，而这些数据都是从网络上搜集而来。

从网络中 100 万个名人中，根据受欢迎程选出 10 万个，然后利用搜索引擎，跳出每个人的大约 100 张图片，就得到了这个庞大的数据集。

MS Celeb 数据集中的 Jobs 图片，

其中绿色是年轻时代的图片，红色是合成图像

而这个数据集最初是用来服务比赛的。MSR IRC是世界上最高水平的图像识别赛事之一，MS Celeb 1M 数据集最初就是这个赛事所用。

MS Celeb 1M 常被用来做面部识别的训练。但对于这些图片均来自网络，所以也曾受到了质疑。而微软则表示，是根据「知识共享许可 C.C 协议」，来抓取和获得这些图像的。

根据协议，可以将照片重新用于学术研究，（照片中的人物并不一定授权许可，而是版权所有者授权。）但微软发布数据集后，却并不能掌管它的使用。英国「金融时报」进行了一项深入调查，结果表明数据被大量的用在了多个企业测试中。

包括 IBM，松下，阿里巴巴，Nvidia 和日立等公司，都存在使用这个数据集的情况。

而这就涉及到了数据集使用的一些规范性问题，一位研究人员还指出，这涉及到人脸识别图像数据集的伦理，起源和个人隐私等问题。

删除原因：负责该数据集的员工离职？

微软已经在线上默默地删除了MS Celeb 1M，并没有特别的说明。

Github 上数据集的下载页面已经变成了 404 

在金融时报的报道中，微软表示「该网站主要目的是用于学术，」而删除它的原因是，「负责运营这个项目的员工离职了，不再与微软合作，所以进行了删除。」

我们都相信肯定有其他原因，可能也有数据集图片存在的问题。虽然微软称数据集均来自于公众人物的照片。但其中还包括少量非知名人物。这部分人脸照片的所有者，对微软使用他们的名称和图像信息，曾提出过质疑和批评。

还有技术人员推测，微软可能会因违反欧盟《通用数据保护条例》（GDPR）而删除数据，该法规于去年生效，旨在建立起数据安全的保护措施。

GDPR对个人信息的保护及其监管

达到了前所未有的高度

但微软表示，它们没有涉及到 GDPR 的条款，数据集相关网站退役只是因为，「曾经的竞赛已经结束」。

当然，此次微软移除 MS Celeb 数据集，并不妨碍它在学术研究等途径的正常使用。那些用于处理数据库的工具，现在也可正常访问。

常用公开数据集，也可能有隐私问题

在英国「金融时报」调查之后，还有另外两个学术单位也删除了相关的数据集：分别是杜克大学的Duke MTMC 监控数据集，和斯坦福大学的Brainwash 数据集。

关于数据集和隐私问题，这不是第一次进入人们的视野。在今年 1 月底，IBM 发布了百万级别的无偏见「人脸多样性」数据集，就曾引发了广泛的争议。

虽然 IBM 强调此举是为减少面部识别中的「偏见」问题，但数据集的来源，人物的是知情度等问题，都引发了不少质疑声。

有媒体还报道， IBM 表示会按照被摄影者的意愿，删除数据集里的相关照片，但都只是一面之词，并没有实际的行动。

今年 5 月，旧金山曾颁布法令

禁止政府机构使用人脸识别技术

对于数据集的采集和使用规则，还是一个很不太明确的区域，尤其是网络便利之后，很多机构都能轻易地获得大量图片，用于面部识别等用途。

其实，对于数据集涉及的隐私问题，解决方案可以很简单：关乎到用户个人隐私信息时，应保证用户的知情权，确保用户是否愿意贡献数据。

但似乎缺少的从来都不是方法，而是意识。