在少样本学习中双曲与欧几里得嵌入 2023-11-22 作者 C3P00 最近在表示学习领域的研究表明,层次数据在双曲空间中可以得到低维且高度信息丰富的表示。 然而,尽管在图像识别中双曲嵌入已经引起了人们的关注,但它们的优化仍然容易受到数值障碍的影响。 此外,与传统欧氏特征相比,尚不清楚哪些应用最有可能从双曲性所施加的隐式偏差中受益。 在本文中,我们关注原型双曲神经网络。 特别地,高维空间中双曲嵌入趋向于收敛到Poincaré球体的边界,以及这对少样本分类的影响。 我们发现,在公共双曲半径下的双曲嵌入可以获得最佳少样本结果。 与之前的基准结果相比,我们证明了使用欧氏度量的固定半径编码器可以实现更好的性能,而不管嵌入维数如何。 重点:1. 超球面(hyperbolic space)与欧氏空间(Euclidean space)相似,但曲率不同。2. 超球面存在多种同形模型,其中最常见的模型是超球面(hyperboloid)和波恩卡雷球(Poincaré ball)。3. 在机器学习中,超球面模型最常见的应用是波恩卡雷球模型。4. 波恩卡雷球模型可以从一个超球面模型(hyperboloid model)得到。5. 在本文中,我们将使用波恩卡雷球模型,该模型可以从超球面模型(hyperboloid model)得到。6. 考虑 Minkowski 空间 Rd,1={x=(x1, …, xd+1)∈Rd×R},以及双线性形式(Lorentz 伪标量)L⟨x, x⟩。7. L 形式在 Rd,1 上不是正定,但在 d-hyperboloid 上半平面内的曲率 k<0 时,是正定的。8. 我们可以通过包容映射ϕ将波恩卡雷球模型从超球面模型得到。9. 波恩卡雷球模型在原点处的指数映射是 TPd k → Pd k。10. 这使得我们可以将欧氏空间的神经网络转换为超球空间的神经网络。11. 在波恩卡雷球模型中,从任何∈Pd k 的 x 和 y 之间的最短路径距离可以通过计算 Pincaré球(Poincaré ball)得到。12. Ressler 等人提出的剪枝策略包括为 f(x; θ) 设置最大幅度 c,将波恩卡雷球缩小到半径为 c 的球中。13. 在训练过程中,对于合适的损失函数 L. 以及 z := h(x; θ)∈Pd k,可以对欧氏梯度∇z L 进行反向传播(见 [13] 的实现),或者将其转换为 Riemannian 梯度通过反比例缩放 grad z L = λ(z) -2 ∇z L(z),如 [12] 中所示。✅ 显示答案 清除答案
最近在表示学习领域的研究表明,层次数据在双曲空间中可以得到低维且高度信息丰富的表示。 然而,尽管在图像识别中双曲嵌入已经引起了人们的关注,但它们的优化仍然容易受到数值障碍的影响。 此外,与传统欧氏特征相比,尚不清楚哪些应用最有可能从双曲性所施加的隐式偏差中受益。 在本文中,我们关注原型双曲神经网络。 特别地,高维空间中双曲嵌入趋向于收敛到Poincaré球体的边界,以及这对少样本分类的影响。 我们发现,在公共双曲半径下的双曲嵌入可以获得最佳少样本结果。 与之前的基准结果相比,我们证明了使用欧氏度量的固定半径编码器可以实现更好的性能,而不管嵌入维数如何。
1. 超球面(hyperbolic space)与欧氏空间(Euclidean space)相似,但曲率不同。
2. 超球面存在多种同形模型,其中最常见的模型是超球面(hyperboloid)和波恩卡雷球(Poincaré ball)。
3. 在机器学习中,超球面模型最常见的应用是波恩卡雷球模型。
4. 波恩卡雷球模型可以从一个超球面模型(hyperboloid model)得到。
5. 在本文中,我们将使用波恩卡雷球模型,该模型可以从超球面模型(hyperboloid model)得到。
6. 考虑 Minkowski 空间 Rd,1={x=(x1, …, xd+1)∈Rd×R},以及双线性形式(Lorentz 伪标量)L⟨x, x⟩。
7. L 形式在 Rd,1 上不是正定,但在 d-hyperboloid 上半平面内的曲率 k<0 时,是正定的。
8. 我们可以通过包容映射ϕ将波恩卡雷球模型从超球面模型得到。
9. 波恩卡雷球模型在原点处的指数映射是 TPd k → Pd k。
10. 这使得我们可以将欧氏空间的神经网络转换为超球空间的神经网络。
11. 在波恩卡雷球模型中,从任何∈Pd k 的 x 和 y 之间的最短路径距离可以通过计算 Pincaré球(Poincaré ball)得到。
12. Ressler 等人提出的剪枝策略包括为 f(x; θ) 设置最大幅度 c,将波恩卡雷球缩小到半径为 c 的球中。
13. 在训练过程中,对于合适的损失函数 L. 以及 z := h(x; θ)∈Pd k,可以对欧氏梯度∇z L 进行反向传播(见 [13] 的实现),或者将其转换为 Riemannian 梯度通过反比例缩放 grad z L = λ(z) -2 ∇z L(z),如 [12] 中所示。✅