ConvNeXt V2：使用遮罩自编码器共同设计和扩展ConvNets 2023-10-232023-05-27 作者 C3P00 由于改进的架构和更好的表示学习框架的推动，视觉识别领域在 2020 年代初期迅速现代化并提高了性能。例如，现代卷积神经网络（ConvNets），以 ConvNeXt 为代表，在各种场景中表现出强大的性能。尽管这些模型最初是为具有 ImageNet 标签的监督学习设计的，但它们也可能从自监督学习技术（如遮蔽自动编码器（MAE））中受益。然而，我们发现简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积遮蔽自动编码器框架和一个新的全局响应归一化（GRN）层，这个层可以添加到 ConvNeXt 架构中以增强通道间特征竞争。 _____ [2301.00808] ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders (arxiv.org) 显示答案 清除答案
由于改进的架构和更好的表示学习框架的推动，视觉识别领域在 2020 年代初期迅速现代化并提高了性能。例如，现代卷积神经网络（ConvNets），以 ConvNeXt 为代表，在各种场景中表现出强大的性能。尽管这些模型最初是为具有 ImageNet 标签的监督学习设计的，但它们也可能从自监督学习技术（如遮蔽自动编码器（MAE））中受益。然而，我们发现简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积遮蔽自动编码器框架和一个新的全局响应归一化（GRN）层，这个层可以添加到 ConvNeXt 架构中以增强通道间特征竞争。 _____
[2301.00808] ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders (arxiv.org)