告别数据孤岛：用扩散模型合成混合类型表格数据

在当今数据驱动的时代，表格数据无处不在，从客户信息到金融交易记录，再到科学实验数据，表格数据承载着海量的信息。然而，由于隐私保护、数据稀缺等原因，我们往往无法直接使用真实数据进行分析和建模。

合成数据应运而生，它可以模拟真实数据的统计特性，为我们提供安全可靠的数据来源。近年来，合成数据生成技术取得了长足进步，但如何生成高质量的混合类型表格数据仍然是一个挑战。

混合类型表格数据指的是包含数值型和类别型特征的数据，例如，客户信息表中可能包含年龄（数值型）、性别（类别型）、收入（数值型）等特征。传统的合成数据生成方法往往难以处理混合类型数据，因为它们无法有效地捕捉不同类型特征之间的复杂关系。

TABSYN 应运而生，它是一种基于 扩散模型 的新型表格数据合成方法，能够有效地解决上述问题。

TABSYN 的核心思想

TABSYN 的核心思想是将原始表格数据映射到一个 连续的潜在空间 中，然后在这个潜在空间中训练一个扩散模型来学习潜在数据的分布。

潜在空间 是一个抽象的空间，它可以将复杂的数据压缩成更简洁的表示。TABSYN 利用 变分自编码器 (VAE) 来构建潜在空间，VAE 能够将表格数据映射到一个 标准正态分布 的潜在空间，这使得后续的扩散模型训练变得更加容易。

扩散模型 是一种强大的生成模型，它通过逐步向数据添加噪声来破坏数据，然后学习如何从噪声中恢复原始数据。TABSYN 在潜在空间中训练了一个 基于分数的扩散模型，这个模型能够学习潜在数据的分布，并生成新的潜在数据。

TABSYN 的优势

TABSYN 具有以下几个显著优势：

• 通用性： TABSYN 可以处理各种类型的表格数据，包括数值型、类别型等。
• 高质量： TABSYN 能够生成高质量的合成数据，它能够准确地模拟真实数据的统计特性，包括单列分布、列间相关性等。
• 高速： TABSYN 的合成速度非常快，它只需要很少的逆向步骤就能生成高质量的合成数据。

TABSYN 的应用场景

TABSYN 在以下场景中具有广泛的应用：

• 数据增强： TABSYN 可以用来生成额外的训练数据，从而提高机器学习模型的性能。
• 隐私保护： TABSYN 可以用来生成合成数据，从而保护原始数据的隐私。
• 缺失值填补： TABSYN 可以用来填补表格数据中的缺失值。

实验结果

论文作者对 TABSYN 进行了大量的实验，结果表明 TABSYN 在多个指标上都优于现有的合成数据生成方法。

• TABSYN 在单列分布估计和列间相关性估计方面，分别将错误率降低了 86% 和 67%。
• TABSYN 在机器学习效率和缺失值填补方面也表现出色。

总结

TABSYN 是一种基于扩散模型的混合类型表格数据合成方法，它能够有效地生成高质量的合成数据，并具有通用性、高质量和高速等优势。TABSYN 在数据增强、隐私保护和缺失值填补等方面具有广泛的应用前景。

参考文献

• Zhang, Hengrui, et al. “Mixed-type Tabular Data Synthesis with Score-Based Diffusion in Latent Space.” International Conference on Learning Representations, 2024.

希望这篇文章能够帮助您更好地理解 TABSYN 的核心思想和优势。如果您想了解更多关于 TABSYN 的信息，请参考论文原文。