细粒度视觉分类是指区分密切相关实体的图像的问题，例如帝王蝶（ Danaus plexippus ）和蟠蝶（ Limenitis archippus ）。在 2011 年第一次FGVC研讨会时，存在的细粒度数据集非常少，而可用的数据集（例如，在该研讨会上发布的 200 种鸟类的CUB数据集）对当时领先的分类算法提出了巨大的挑战。快进到 2020 年，计算机视觉领域发生了惊人的变化。基于深度学习的方法帮助 CUB-200-2011 的准确率从 17% 飙升至 90%，细粒度数据集也激增，数据来自各种各样的机构，如艺术博物馆、服装零售商和木薯农场。
为了帮助支持该领域的进一步发展，我们很高兴赞助并共同组织第7 届细粒度视觉分类研讨会(FGVC7)，该研讨会将于 2020 年 6 月 19 日以虚拟聚会的形式举行，与IEEE计算机视觉和模式识别会议(CVPR) 同期举行。我们很高兴重点介绍今年世界一流的细粒度挑战赛阵容，从果树疾病预测到时尚属性，我们邀请来自世界各地的计算机视觉研究人员参加研讨会。
CVPR 2020 上的 FGVC 研讨会重点关注下属类别，包括（从左到右）野生动物相机陷阱、植物病理学、鸟类、植物标本、服装和博物馆文物。
FGVC 挑战赛对现实世界的影响
除了在越来越具挑战性的数据集上突破细粒度识别的界限之外，每个 FGVC 研讨会周期都提供了促进研究人员和从业人员之间新合作的机会。FGVC 研讨会的一些成果已经应用到现实世界的用户手中。2018
年 FGVC 研讨会举办了一项真菌挑战赛，使用了丹麦真菌学会提供的 1,500 种蘑菇数据。比赛结束后，捷克技术大学和西波西米亚大学的一支队伍位居排行榜首位。
真菌学家随后邀请捷克研究人员访问哥本哈根，探讨进一步合作并对生物多样性协作机器学习研究的新工作流程进行现场测试。最终产生了一篇联合撰写的会议论文、一款适用于 Android和iOS的蘑菇识别应用程序以及一个在TensorFlow Hub上发布的开放获取模型。
Svampeatlas蘑菇识别应用程序是丹麦和捷克合作的成果，源自 FGVC 2018 真菌挑战赛。底层模型现已在 TF Hub 上发布。图片经丹麦真菌学会许可使用。
上文提到的 2019 年iCassava 疾病挑战赛是FGVC 团队努力进入现实世界的另一个例子。在这次挑战赛中，加纳的 Google 研究人员与马凯雷雷大学和国家作物资源研究所(NaCRRI) 合作，制作了五种木薯疾病类别的注释数据集。
2019 年 iCassava 挑战赛中出现的木薯叶病例子。
这些团队正在乌干达当地农民的田地里测试一种新模型，该模型将很快在 TFHub 上发布。
今年的挑战
FGVC7 将有六个挑战，其中四个是过去项目的续集，两个是全新的。
在iWildCam中，挑战是在相机陷阱图像中识别不同种类的动物。与 2018 年和 2019 年的前辈一样，今年的比赛利用生物学家用来研究野生动物的静态运动触发相机的数据。参赛者竞相建立针对全球不同地区的模型，重点是推广到这些地区内的保留相机部署，这些相机在设备模型、图像质量、当地环境、光照条件和物种分布方面存在差异， 使得推广变得困难。
事实证明，通过使用图像本身以外的信息 可以显着提高物种分类性能。此外，由于生态系统可以通过多种方式进行监测（例如，相机陷阱、公民科学家、遥感），每种方式都有自己的优势和局限性，因此促进探索将这些互补模式结合起来的技术非常重要。为此，比赛为每个相机陷阱位置提供了一系列时间序列的遥感图像，以及来自iNaturalist 比赛数据集的相机陷阱数据中物种的图像。
并排比较 iWildcam（从野生动物相机陷阱拍摄）的图像质量（左）和 iNaturalist（由传统相机拍摄）的图像质量（右）。图片来自 2020 年 iWildCam 挑战赛以及 2017 年和 2018 年的 iNaturalist 竞赛数据集。
植物标本馆挑战赛现已进入第二年，比赛要求根据大量植物标本馆藏进行植物物种识别。该挑战赛与纽约植物园(NYBG) 合作开发，包含 100 多万张图片，代表 32,000 多种植物。去年的挑战赛以 680 个物种的 46,000 个标本为基础。能够从历史植物标本馆藏中识别物种不仅可以帮助植物学家更好地了解地球上植物生命的变化，而且还提供了一个独特的机会来识别馆藏中以前未描述过的新物种。
2020 年植物标本挑战赛标本的代表性样本。图片经纽约植物园许可使用。
在今年的iMat 时尚挑战赛中，参赛者竞相进行服装实例分割和细粒度属性分类。本次比赛的目标是通过联合时尚界和计算机视觉界的力量，推动细粒度分割的最新技术发展。该挑战赛已举办至第三次，与过去几年相比，其规模和细节程度都有所增长。
其最后一个续集是iMet，参赛者面临的挑战是构建艺术作品细粒度属性分类算法。该数据集是与大都会艺术博物馆合作开发的，自 2019 年版以来已显着增长，其中包含由主题专家生成的各种新编目信息，包括多个对象分类、艺术家、标题、时期、日期、媒介、文化、尺寸、出处、地理位置和大都会艺术博物馆藏品中的其他相关博物馆物品。
半监督 Aves是今年研讨会的新挑战之一。虽然来自iNaturalist的鸟类数据在过去的 FGVC 挑战赛中占据重要地位，但本次挑战赛的重点是从部分标记数据中学习的问题，这是一种半监督学习的形式。该数据集旨在揭示现实环境中遇到的一些挑战，例如类别之间的细粒度相似性、严重的类别不平衡以及标记数据和未标记数据之间的域不匹配。植物病理学
是这一系列挑战赛中的最后一项。在这个挑战赛中，参赛者尝试使用专家注释的患病样本参考数据集来识别苹果的叶面疾病。虽然这个特殊的挑战赛对于 FGVC 社区来说是新事物，但它是第二个涉及植物疾病的挑战赛，第一个是去年 FGVC 上的iCassava 。参与邀请 这些比赛的结果将由表现最优秀的团队在 FGVC7 研讨会上展示。我们邀请研究人员、从业人员和领域专家参加 FGVC 研讨会，以了解有关细粒度图像识别的最新进展的更多信息。我们很高兴鼓励社区开发用于细粒度视觉分类的尖端算法，并促进具有全球影响力的新合作！致谢我们要感谢 FGVC7 组委会的同事和朋友共同努力推动这一重要领域的发展。在 Google，我们要感谢 Hartwig Adam、Kiat Chuan Tan、Arvi Gjoka、Kimberly Wilber、Sara Beery、Mikhail Sirotenko、Denis Brulé、Timnit Gebru、Ernest Mwebaze、Wojciech Sirko 和 Maggie Demkin。
评论