凤凰院魔法使のBlog

本文对基于梯度流框架的能量稳定优化方法在深度学习中的实际表现进行了系统的实证评估。我们实现了标量辅助变量法（SAV）、指数标量辅助变量法（ExpSAV）和不变能量二次化方法（IEQ）共六种算法变体，并在三个回归任务和一个分类任务上与传统方法（SGD、Adam）进行了对比实验。实验结果揭示了理论优雅与实践困难之间的显著差距：ExpSAV方法在四个实验中出现三次失败或无法完成训练，IEQ自适应方法在部分任务上彻底失败，而没有任何算法在回归任务中达到预设的$10^{-4}$精度目标。我们的研究表明，尽管能量稳定方法拥有严格的数学理论保证，但其实践表现高度依赖于超参数配置和问题特性，在跨任务鲁棒性上显著弱于传统的Adam优化器。本文通过诚实报告这些失败案例，为学术界提供了关于能量稳定方法局限性的重要参考，并指出了未来改进的关键方向。在测试的能量稳定方法中，IEQ自适应方法表现出相对最佳的可靠性，但仍需谨慎使用并进行充分验证。

本文深入探讨岭回归在病态条件下的作用机制与优化算法的收敛特性。通过SVD分解揭示正则化如何改善高条件数矩阵的数值稳定性，分析正则化参数λ在降噪与参数估计之间的权衡关系。同时，系统研究了Armijo线搜索策略下α和β参数对梯度下降法收敛速度的影响，发现了特殊的参数平衡点。实验表明，在条件数极高的病态问题中，合适的正则化强度可使测试误差降低显著，而优化的Armijo参数组合能够在保证收敛质量的同时大幅减少计算开销。本文为处理病态回归问题和优化算法参数调优提供了理论分析和实践指导。

This note gives a simple and mathametical based overview of Gaussian Process Regression (GPR).

本文基于BS模型假设，通过构造混合随机分布的方法，对期权价格进行拟合，进一步分析期权价格。

Tensorboard是一个用于机器学习实验的可视化工具包。TensorBoard允许跟踪和可视化指标，如损失和准确性，可视化模型图，查看直方图，显示图像等，本文介绍pytorch架构下使用Tensor Board。核心原理是使用SummaryWriter()记录需要的数据（类似于Wandb的实例）并且在本地localhost进行可视化。

强化学习人类反馈（Reinforcement Learning from Human Feedback, RLHF）是一种通过结合强化学习和人类反馈来优化模型性能的方法。RLHF特别适用于那些主观性强、没有明确目标的任务，例如生成文本摘要、回答开放性问题等。

本文主要讲解了相平面法在分析二元微分方程组和一元二次微分方程的应用。首先，我们引入了相平面法的基本思想，包括Integral Path和Phase Portrait的概念。然后，我们介绍了如何寻找和分析平衡点，包括其特征值和特征向量的计算。接下来，我们使用相平面法对Competitive Lotka Volterra Equations进行了实例分析，详细展示了如何通过求解Jacobian matrix和平衡点，绘制相平面。最后，我们还探讨了二阶ODE的特性和如何寻找极限环。整个文章以理论和实践相结合的方式，使读者能更好地理解相平面法的应用。

对于图论中有向图最短路径问题的求解方法，本文讲介绍Dijkstra算法。

聚类属于无监督学习，指在没有参照系下对样本集合进行分组，这种分组往往是无标签化的，即分类后无法知道这一类的意义，仅仅是在特征上具有较大相似性。K-means算法是常见的聚类算法，在给定分类组数的情况下算法自动进行分类。

层次分析法「The analytic hierarchy process」是在对复杂的决策问题的本质、影响因素及其内在关系等进行深入分析的基础上，利用较少的定量信息使决策的思维过程数学化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法。