时间序列中的不确定性：在椭圆集中的共形预测 2024-08-18 作者 C3P00 在现代机器学习的浪潮中，共形预测（Conformal Prediction，CP）作为一种无分布假设、模型无关且理论基础扎实的方法，越来越受到研究者的青睐。尤其是在不确定性量化的场景中，CP不仅能提供点估计，还能构建包含未观察到的真实值的置信区域。尽管CP在单变量输出方面取得了显著成功，但在多维时间序列预测中，其应用仍显得相对薄弱。本文将介绍一种新的CP方法——MultiDimSPCI，专门针对多维响应的预测区域构建，尤其是在多维时间序列的背景下。 引言：共形预测的魅力 共形预测的基本思路是利用一个黑箱模型 $f$ 和输入特征 $X$，构建一个非一致性评分（non-conformity score），该评分衡量了潜在输出与历史数据的不一致程度。这个不一致性评分可以理解为一种“异常检测”机制，帮助我们判断一个新的观测值是否符合历史数据的模式。 在经典的CP方法中，通常假设数据是可交换的，即数据点之间没有顺序关系。然而，在多维时间序列中，数据的顺序往往是至关重要的。换句话说，时间序列数据具有内在的时间依赖性和复杂的维度间相关性，这使得基于CP的传统模型在处理多维输出时显得力不从心。 MultiDimSPCI：应对复杂的多维时间序列 本文提出的MultiDimSPCI方法，致力于在不假设数据交换性的情况下，构建适应性强的椭圆预测区域。具体来说，MultiDimSPCI方法通过以下几个步骤来实现其目标： 椭圆不确定性集的构建：通过对预测残差进行协方差估计，构建椭圆形的不确定性区域。公式为： $$B(r, \bar{\epsilon}, \Sigma^{-1}) = {x \in \mathbb{R}^p : (x – \bar{\epsilon})^T \Sigma^{-1} (x – \bar{\epsilon}) \leq r}$$ 这里，$r$是半径，而$\bar{\epsilon}$是残差的均值。 非一致性评分的计算：基于训练集数据，计算非一致性评分，以此来适配新的观测值。具体评分计算式为： $$\hat{e}(Y. = (\hat{\epsilon} – \bar{\epsilon})^T \Sigma^{-1} (\hat{\epsilon} – \bar{\epsilon})✅$$ 通过这一评分，可以有效地评估新数据点的异常程度。 自适应调整半径和体积：在每次预测时，通过量化回归方法，动态调整椭圆的半径，以确保覆盖率的有效性。最终的预测区域可以表示为： $$C_{t-1}(X_t, \alpha) = {Y. Q_{b}(1 – \alpha + \hat{\beta}) \leq \hat{e}(Y) \leq Q_{b}(\hat{\beta})}✅$$ 其中，$Q_{b}$表示量化回归函数，$\hat{\beta}$是与置信水平$\alpha$相对应的最优参数。 理论分析：覆盖率保证 在理论层面，MultiDimSPCI为构建的预测区域提供了有限样本高概率界限，确保覆盖率不依赖于观测的交换性。我们证明： $$|P(Y_{t+1} \in C_{\alpha}(X_{t+1}) | X_{t+1} = x_{t+1}) – (1 – \alpha)| \leq C_1 \cdot r \cdot \sqrt{\frac{\log T}{T}} + C_2$$ 这里，$C_1$和$C_2$是与样本量和数据特性相关的常数。这一结果为我们在复杂时间序列预测中的应用奠定了理论基础。 实证分析：实战中的表现 为验证MultiDimSPCI的有效性，我们在不同类型的多维时间序列上进行了实验。实验结果显示，MultiDimSPCI在保持预测覆盖率的同时，预测区域的平均大小明显小于基准方法，如Copula和SPCI。 例如，在对风速数据的分析中，MultiDimSPCI的覆盖率达到97%而预测区域大小仅为1.60，而使用传统方法则需要更大的预测区域，且覆盖率相对较低（如Copula方法的覆盖率为98%但预测区域大小达到2.55）。 在太阳辐射和交通流量数据的实验中，MultiDimSPCI同样表现出色，显示出在多维时间序列中，椭圆形预测区域能够更有效地捕捉到维度间的相关性，同时保持了对时间序列的顺序依赖性的有效建模。 未来的展望 展望未来，MultiDimSPCI的方法还有进一步扩展的可能。例如，我们可以探索使用凸包（convex hull）作为替代的预测区域，这种方法可能在特定情况下提供更紧凑的区域。同时，我们也将继续研究在高维情况下CP的理论性质，以便更好地应对复杂数据场景的挑战。 结论 总之，MultiDimSPCI为多维时间序列的不确定性量化提供了一种有效的解决方案。通过构建椭圆形预测区域并结合动态调整机制，该方法不仅在理论上具有坚实的基础，也在实证分析中展示了其优越性。未来的研究将进一步拓宽CP在复杂数据领域的应用边界。 参考文献 Xu, C. , & Xie, Y. (2021). Anomaly detection using conformal prediction.✅ Barber, J. , et al. (2021). Regression with conformal prediction.✅ Messoudi, A. , et al. (2021). Copula-based conformal prediction for time series.✅ Sun, Y. , & Yu, P. (2024). Copula CP for multi-step forecasting.✅ Diquigiovanni, A. , et al. (2022). Prediction bands for multivariate functional data.✅
在现代机器学习的浪潮中，共形预测（Conformal Prediction，CP）作为一种无分布假设、模型无关且理论基础扎实的方法，越来越受到研究者的青睐。尤其是在不确定性量化的场景中，CP不仅能提供点估计，还能构建包含未观察到的真实值的置信区域。尽管CP在单变量输出方面取得了显著成功，但在多维时间序列预测中，其应用仍显得相对薄弱。本文将介绍一种新的CP方法——MultiDimSPCI，专门针对多维响应的预测区域构建，尤其是在多维时间序列的背景下。
引言：共形预测的魅力
共形预测的基本思路是利用一个黑箱模型 $f$ 和输入特征 $X$，构建一个非一致性评分（non-conformity score），该评分衡量了潜在输出与历史数据的不一致程度。这个不一致性评分可以理解为一种“异常检测”机制，帮助我们判断一个新的观测值是否符合历史数据的模式。
在经典的CP方法中，通常假设数据是可交换的，即数据点之间没有顺序关系。然而，在多维时间序列中，数据的顺序往往是至关重要的。换句话说，时间序列数据具有内在的时间依赖性和复杂的维度间相关性，这使得基于CP的传统模型在处理多维输出时显得力不从心。
MultiDimSPCI：应对复杂的多维时间序列
本文提出的MultiDimSPCI方法，致力于在不假设数据交换性的情况下，构建适应性强的椭圆预测区域。具体来说，MultiDimSPCI方法通过以下几个步骤来实现其目标：
B(r, \bar{\epsilon}, \Sigma^{-1}) = {x \in \mathbb{R}^p : (x – \bar{\epsilon})^T \Sigma^{-1} (x – \bar{\epsilon}) \leq r}
$$ 这里，$r$是半径，而$\bar{\epsilon}$是残差的均值。
\hat{e}(Y. = (\hat{\epsilon} – \bar{\epsilon})^T \Sigma^{-1} (\hat{\epsilon} – \bar{\epsilon})✅
$$ 通过这一评分，可以有效地评估新数据点的异常程度。
C_{t-1}(X_t, \alpha) = {Y. Q_{b}(1 – \alpha + \hat{\beta}) \leq \hat{e}(Y) \leq Q_{b}(\hat{\beta})}✅
$$ 其中，$Q_{b}$表示量化回归函数，$\hat{\beta}$是与置信水平$\alpha$相对应的最优参数。
理论分析：覆盖率保证
在理论层面，MultiDimSPCI为构建的预测区域提供了有限样本高概率界限，确保覆盖率不依赖于观测的交换性。我们证明：
$$
|P(Y_{t+1} \in C_{\alpha}(X_{t+1}) | X_{t+1} = x_{t+1}) – (1 – \alpha)| \leq C_1 \cdot r \cdot \sqrt{\frac{\log T}{T}} + C_2
$$
这里，$C_1$和$C_2$是与样本量和数据特性相关的常数。这一结果为我们在复杂时间序列预测中的应用奠定了理论基础。
实证分析：实战中的表现
为验证MultiDimSPCI的有效性，我们在不同类型的多维时间序列上进行了实验。实验结果显示，MultiDimSPCI在保持预测覆盖率的同时，预测区域的平均大小明显小于基准方法，如Copula和SPCI。
例如，在对风速数据的分析中，MultiDimSPCI的覆盖率达到97%而预测区域大小仅为1.60，而使用传统方法则需要更大的预测区域，且覆盖率相对较低（如Copula方法的覆盖率为98%但预测区域大小达到2.55）。
在太阳辐射和交通流量数据的实验中，MultiDimSPCI同样表现出色，显示出在多维时间序列中，椭圆形预测区域能够更有效地捕捉到维度间的相关性，同时保持了对时间序列的顺序依赖性的有效建模。
未来的展望
展望未来，MultiDimSPCI的方法还有进一步扩展的可能。例如，我们可以探索使用凸包（convex hull）作为替代的预测区域，这种方法可能在特定情况下提供更紧凑的区域。同时，我们也将继续研究在高维情况下CP的理论性质，以便更好地应对复杂数据场景的挑战。
结论
总之，MultiDimSPCI为多维时间序列的不确定性量化提供了一种有效的解决方案。通过构建椭圆形预测区域并结合动态调整机制，该方法不仅在理论上具有坚实的基础，也在实证分析中展示了其优越性。未来的研究将进一步拓宽CP在复杂数据领域的应用边界。
参考文献