谷歌 DeepMind 发布 WebLI-100B：千亿级数据集解锁 AI 视觉语言模型的文化多样性

fnm8lI10ig

2 月 14 日消息，科技媒体 marktechpost 昨日（2 月 13 日）发布博文，报道称谷歌 DeepMind 团队发布了 WebLI-100B 千亿级数据集，并通过增强文化多样性和多语言性，以及减少子组之间的性能差异来提高包容性。
目前挑战

IT之家注：机器通过学习大型数据集来连接图像和文本，数据越多，模型识别模式和提高准确性的能力就越强。视觉语言模型 (VLMs) 依赖这些数据集执行图像字幕和视觉问答等任务。
视觉语言模型目前依赖于 Conceptual Captions 和 LAION 等大型数据集，包含数百万到数十亿的图像-文本对。这些数据集支持零样本分类和图像字幕生成，但其发展已放缓至约 100 亿对。
这种限制降低了进一步提高模型精度、包容性和多语言理解的前景，现有方法基于网络爬取的数据，存在样本质量低、语言偏差和多元文化代表性不足等问题。
WebLI-100B 千亿级数据集

Google DeepMind 的研究人员为了缓解视觉语言模型在文化多样性和多语言性方面的局限性，提出了 WebLI-100B 数据集，该数据集包含 1000 亿个图像-文本对，比之前的数据集大十倍。
该数据集捕获了罕见的文化概念，并提高了模型在低资源语言和多样化表示等较少探索领域的性能。与先前的数据集不同，WebLI-100B 不是依赖严格的过滤（通常会删除重要的文化细节），而是专注于扩展数据。
该框架涉及在 WebLI-100B 数据集的不同子集（1B、10B 和 100B）上预训练模型，以分析数据缩放的影响。
在完整数据集上训练的模型在文化和多语言任务中的表现优于在较小数据集上训练的模型，即使使用相同的计算资源。该数据集没有进行激进的过滤，而是保留了语言和文化元素的广泛代表性，使其更具包容性。
研究结果表明，将数据集大小从 10B 增加到 100B 对以西方为中心的基准测试的影响很小，但在文化多样性任务和低资源语言检索方面带来了改进。