小红书等给AI图像检测上难度！数据集均通过人类感知“图灵测试” | ICLR 2025

tXD29Yhja

量：图像分辨率从720P到4K不等，提供了更高质量的图像数据，增加了检测模型的挑战性。
AIDE模型：多专家融合的检测框架

在AI生成图像检测领域，现有的检测方法往往只能从单一角度进行分析，难以全面捕捉AI生成图像与真实图像之间的细微差异。
为了解决这一问题，研究者们提出了简单且有效的AIDE（AI-generated Image DEtector with Hybrid Features）模型，该模型通过融合多种专家模块，从低级像素统计和高级语义两个层面全面捕捉图像特征，实现了对AI生成图像的精准检测。
AIDE模型主要由两个核心模块组成：Patchwise Feature Extraction（PFE）模块和Semantic Feature Embedding（SFE）模块。这两个模块通过多专家融合的方式，共同为最终的分类决策提供丰富的特征信息。

Patchwise Feature Extraction（PFE）模块
PFE模块旨在捕捉图像中的低级像素统计特征，特别是AI生成图像中常见的噪声模式和纹理异常。具体而言，该模块通过以下步骤实现：
Patch Selection via DCT Scoring：首先，将输入图像划分为多个固定大小的图像块（如32×32像素）。然后，对每个图像块应用离散余弦变换（DCT），将其转换到频域。通过设计不同的带通滤波器，计算每个图像块的频率复杂度得分，从而识别出最高频率和最低频率的图像块。
Patchwise Feature Encoder：将筛选出的高频和低频图像块调整为统一大小（如256×256像素），并输入到SRM（Spatial Rich Model）滤波器中提取噪声模式特征。这些特征随后通过两个ResNet-50网络进行进一步处理，得到最终的特征图。
Semantic Feature Embedding（SFE）模块
SFE模块旨在捕捉图像中的高级语义特征，特别是物体共现和上下文关系等。具体而言，该模块通过以下步骤实现：
Semantic Feature Embedding：利用预训练的OpenCLIP模型对输入图像进行全局语义编码，得到图像的视觉嵌入特征。通过添加线性投影层和平均空间池化操作，进一步提取图像的全局上下文信息。
Discriminator模块
将PFE和SFE模块提取的特征在通道维度上进行融合，通过多层感知机（MLP）进行最终的分类预测。具体而言，首先对高频和低频特征图进行平均池化，得到低级特征表示；然后将其与高级语义特征进行通道级拼接，形成最终的特征向量；最后通过MLP网络输出分类结果。
实验结果

数据集：实验在AIGCDetectBenchmark、GenImage和Chameleon三个数据集上进行。AIGCDetectBenchmark和GenImage是现有的基准测试数据集，而Chameleon是研究者们新构建的更具挑战性的数据集。
模型对比：研究者选择了9种现成的AI生成图像检测器进行对比，包括CNNSpot、FreDect、Fusing、LNP、LGrad、UnivFD、DIRE、PatchCraft和NPR。
评价指标：实验采用分类准确率（Accuracy）和平均精度（Average Precision, AP）作为评价指标。
团队评测了AIDE在AIGCDetectBenchmark和GenImage上的结果，如下表所示：

AIDE模型在这两个数据集上的优异表现表明，融合低级像素统计和高级语义特征的方法能够有效捕捉AI生成图像与真实图像之间的差异，从而提高检测准确率。
随后在Chameleon benchmark上测评了9个现有的detectors，如下表所示。

同时团队可视化了，之前的SOTA方法PatchCraft在AIGCDetectBenchmark & GenImage 以及Chameleon上的表现

结果表明，之前在AIGCDetectBenchmark &GenImage上表现优异的模型，在Chameleon benchmark上均表现很差，这表明Chameleon数据集中的图像确实具有高度的逼真性，对现有检测模型提出了更大的挑战。
本论文通过对现有 AI 生成图像检测方法的重新审视，提出了一个新的问题设定，构建了更具挑战性的 Chameleon 数据集，并设计了一个融合多专家特征的检测器 AIDE。实验结果表明，AIDE 在现有的两个流行基准（AIGCDetectBenchmark 和 GenImage）上取得了显著的性能提升，分别比现有的最先进方法提高了 3.5% 和 4.6% 的准确率。然而，在 Chameleon 基准上，尽管 AIDE 取得了最好的性能，但与现有基准相比，仍存在较大的差距。
这表明，检测 AI 生成图像的任务仍然具有很大的挑战性，需要未来进一步的研究和改进。希望这一工作能够为这一领域的研究提供新的思路和方向，推动 AI 生成图像检测技术的发展。
尽管AIDE模型在AI生成图像检测领域取得了显著进展，但研究者们仍计划在未来的工作中进一步优化模型架构，探索更高效的特征提取和融合方法。
此外，研究者们还计划扩大Chameleon数据集的规模，涵盖更多类别、更多场景、更多生成模型的图像，以推动AI生成图像检测技术的进一步发展。
论文： https://arxiv.org/pdf/2406.19435
主页： https://shilinyan99.github.io/AIDE/
代码： https://github.com/shilinyan99/AIDE