双向随机投影提升最小二乘回归精度，理论可解释且实证有效。
Bidirectional Random Projections
- 采用双向随机投影压缩数据，保留关键信息用于回归建模。
- 理论证明误差上界比单向投影低约 $ O(p_1 + C/p_1) $，$ C $ 受采样比例影响。
- 适用于高维数据降维与快速回归，适合关注计算效率与理论保证的研究者。
本文在固定设计设定下分析了普通最小二乘（OLS）回归中的双向随机投影方法。给定样本 $(X,Y) o bR^{n imes p} imes bR^n$，以及两个合适分布的随机投影矩阵 $R o bR^{n_1 imes n}$、$W o bR^{p imes p_1}$，我们推导出基于 $(WXR, WY)$ 构建的 OLS 估计器的期望超额损失上界。相较于基于 $(XR, Y)$ 的已有结果，该上界差距约为 $Oig(p_1 + C/p_1ig)$，其中 $C$ 与 $n_1/n$ 相关，当 $n_1/n$ 较小时可能为负值。这一理论预测在真实世界数据上的数值实验中得到验证。
原文摘要 · Abstract (English)
This paper analyzes bidirectional random projections for ordinary least squares (OLS) regression under the fixed design setting. Let $(X,Y) \in \mathbb{R}^{n \times p} \times \mathbb{R}^n$ be a sample and $R \in \mathbb{R}^{n_1 \times n}, W \in \mathbb{R}^{p \times p_1}$ be two properly distributed random projections. We develop an expected excess loss bound for the OLS estimator built on $(WXR, WY)$. Compared to an established bound for OLS estimator built on $(XR, Y)$, the gap is approximately $O\left( p_1 + C \frac{1}{p_1} \right)$, where $C$ scales with $n_1/n$ and can be negative for small $n_1/n$. Its implications are confirmed by numerical results on real-world data.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。