Google更新最大的带注释图像数据集 添加当地化论述
|
副问题[/!--empirenews.page--]
值得留意的是，该版本还添加了当地化论述，这是一种全新的多模态注释情势，由同步的语音、文本和鼠标跟踪所描写的工具构成。在 OpenImagesV6 中，这些当地化的论述可用于 500k 图像。另外，为了便于与之前的事变举办较量，Google 还为 COCO 数据集的所有 123k 图像宣布了当地化的论述注释。 Open Images V6 网址：https://g.co/dataset/openimages COCO 数据集网址：http://cocodataset.org/
Open Images V5 中的注释模式：程度图像标签、界线框、实例分段和视觉相关。图片来历：1969 年 D.Miller 的 Camaro RS/SS、anita kluska 的 the house、Ari Helminen 的 Cat Cafe Shinjuku calico、Andrea Sartorati 的 Radiofiera-Villa CorDELLina Lombardi、Montecchio Maggiore（VI）-agosto 2010。 从许多方面来讲，Open Images 是最大的带注释图像数据集，用来实习用于计较机视觉使命的最新深度卷积神经收集。 视频网址：https://youtu.be/mZqHVUstmIQ
当地化论述的例子。图片来历：Kasia 的 Spring is here 当地化论述 当地化论述背后的念头之一是研究、操作视觉和说话之间的接洽，凡是是通过图像字幕加上人的文本描写完成。然而，图像字幕的范围性之一是缺乏视觉基本，即我们不知道文本描写的是图像中的哪一块。为了减轻这一题目，早年的一些数据集对文本描写中呈现的名词画了一个后验框。相反，在当地化的论述中，文本描写的每个词都是有对应位置的。
图像内容和字幕之间的差异条理的对应。从左到右：整个图像的问题（COCO）；矩形框的名词（Flickr30k 实体）；鼠标跟踪段的每个单词（当地化论述）。图片来历：COCO，Flickr30k Entities，和 Rama 的 Sapa。 当地化的论述是由注释者天生的，他们提供图像的口头描写，同时将鼠标悬停在所描写的地区上。语音注释是其要领的焦点，它直接将描写与其所引用的图像地区毗连起来。为了使描写更易于会见，注释者将自动语音转录功效与手动转录功效对齐。这规复了描写的时刻戳，确保语音、文本和鼠标跟踪这三种模式正确且同步。
手动和自动转录的对齐，图像是基于 Freepik 的原创作品计划的。 在措辞的同时举办指示长短常直观的，为研究人们描写图像缔造了更多要领。譬喻，我们调查到，在暗示工具的空间范畴时有差异气魄威风凛凛的线条——环抱、划满线条、下划线等等——对这些气魄威风凛凛的研究可觉得新用户界面的计划带来有代价的看法。
鼠标跟踪与图像下面的单词对应的地区。图片来历：Via Guglielmo Marconi，Elliott Brown 的 Positano-Hotel Le Agavi-boat，vivek jena的air frame，以及弗吉尼亚州立公园的 CL P1050512。 这些当地化的论述所代表的特殊数据量到底有多大？据相识，鼠标轨迹的总长度约为 6400 公里，假如不断地朗读，全部的论述将必要约 1.5 年的时刻读完！ 新的视觉相关、人类举动和程度图像注释 除了当地化的论述之外，在 OpenImagesV6 中，Google 将视觉相关注释的范例增进了一个数目级（高达 1.4K），譬喻添加了“汉子滑滑板”、“汉子和姑娘牵着手”和“狗抓飞盘”等。
图片来历：IMG 作者 James Buck，DSC 作者 Quentin Meulepas，dsc06464 作者 sally9258。 自从计较机视觉降生以来，图像中的人就一向是其研究的焦点规模之一，领略这些人在做什么对很多应用来说至关重要。因此，Open Images V6 还包括了 250 万小我私人类执行独立举措的注释，好比跳跃、微笑或躺下。
图片来历：Boo Ph 的 DSCs1341（2），Johannes Gardner 的 Richard Wagner Spile 2015。 最后，Google 还添加了 2350 万个新的人工验证的程度图像标签，有靠近 20000 个种别，巨细高出 59.9M。 Open Images 挑衅赛 在客岁 5 月宣布的第 5 版 Open Images V5 中包括 9M 图像，并有 36M 的程度图像标签、15.8M 的界线框、2.8M 的分段实例和 391k 的视觉相关。 与数据集自己一样，2019 年 Google举行了 Open Images 挑衅赛，角逐分为方针检测、实例支解和视觉相关检测三个赛道，对这三个偏向技能的最新盼望起到了起劲的敦促浸染。 大赛先容
方针检测赛道要求猜测工具实例周围的界线框。 实习集包括 12.2M 的界线框，超过 500 个种别，包围 170 万张图片。为了确保精确性和同等性，这些界线框大部门是由专业注释员手工绘制的。数据集图像很是多样化，凡是包括多个工具的伟大场景——均匀每张图像有 7 个工具。
示例图片：Rhys A 的作品 Mark Paul Gosselaar 弹吉他 角逐网址：https://www.kaggle.com/c/open-images-2019-object-detection
实例支解赛道要求提供工具的分段掩码。 实习集包括 300 个种别中 2.1M 分段实例掩码；验证集包括特另外 23k 掩码。实习集掩码是由最先辈的交互式支解进程发生的，在这个进程中，专业的人类注释者迭代地校正支解神经收集的输出。为担保质量，验证和测试集掩码是手动注释的。
实习组注释示例。左图：Gary Stevens 1995 年拍摄的无锡科技园；右图：Ari Helminen 拍摄的咖啡馆的猫咪 角逐网址：https://www.kaggle.com/c/open-images-2019-instance-segmentation
视觉相关检测赛道要求检测工具对以及毗连它们的相关。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
