凤凰院魔法使のBlog

本文介绍了Synergistic Information Distillation（SID）算法，这是一种无需反向传播的模块化训练方法。该方法将深度网络分解为多个独立优化的模块，每个模块通过局部目标函数逐步精炼“信念分布”。文章详细描述了网络架构和训练流程，包括两个阶段：第一阶段生成固定“教师信念”作为监督信号，第二阶段并行更新各模块参数，共享特征累积所有模块梯度。SID通过协同信息蒸馏实现高效、模块化的模型训练，为机器学习提供了一种新的思路。

本文介绍了一种基于VGG结构的改进算法——Adaptive Spatial Goodness Encoding（ASGE），通过引入自适应空间良好性编码模块，提升模型对特征的识别与表达能力。该模块结合卷积、ReLU、RMS池化和层归一化，实现对输入数据的高效处理，并通过自适应划分空间块的方式，计算每个区域的激活强度，以评估其特征显著性。随后，利用这些评估值进行局部参数更新，增强模型的适应性与性能。文章还探讨了在训练分类任务中的应用策略，展示了该方法在提升模型准确性和泛化能力方面的潜力，为深度学习模型的设计提供了新的思路。

ResNet是一种革命性的深度神经网络架构，其核心创新在于引入了残差连接（Residual Connection），也称为跳跃连接（Shortcut Connection）。通过在每个Residual Block中将输入直接传递到后续层，ResNet有效解决了深层网络训练时的退化问题，使网络能够更稳定地学习到恒等映射。文章详细介绍了ResNet的结构、数据流动过程以及实现细节，包括维度匹配策略、下采样处理和批归一化位置等关键设计。无论你是深度学习的初学者还是进阶者，了解ResNet的原理和应用都将为你打开通往更高效、更深层次模型的大门。

本文介绍了卷积通道竞争学习（CwC）算法，该算法通过通道维度的竞争机制实现无需反向传播的卷积网络训练。核心思想是将特征图划分为类别相关的通道组，并通过最大化目标类别的激活强度引导网络自主学习特征，从而摆脱对全局梯度和负样本生成的依赖。文章详细描述了CFSE模块的结构与算法流程，包括特征子集划分、专家输出计算等关键步骤，展示了这一创新方法在特征提取与分类任务中的潜力，为深度学习模型的高效训练提供了新思路。

Test Page

本文对基于梯度流框架的能量稳定优化方法在深度学习中的实际表现进行了系统的实证评估。我们实现了标量辅助变量法（SAV）、指数标量辅助变量法（ExpSAV）和不变能量二次化方法（IEQ）共六种算法变体，并在三个回归任务和一个分类任务上与传统方法（SGD、Adam）进行了对比实验。实验结果揭示了理论优雅与实践困难之间的显著差距：ExpSAV方法在四个实验中出现三次失败或无法完成训练，IEQ自适应方法在部分任务上彻底失败，而没有任何算法在回归任务中达到预设的$10^{-4}$精度目标。我们的研究表明，尽管能量稳定方法拥有严格的数学理论保证，但其实践表现高度依赖于超参数配置和问题特性，在跨任务鲁棒性上显著弱于传统的Adam优化器。本文通过诚实报告这些失败案例，为学术界提供了关于能量稳定方法局限性的重要参考，并指出了未来改进的关键方向。在测试的能量稳定方法中，IEQ自适应方法表现出相对最佳的可靠性，但仍需谨慎使用并进行充分验证。

本文深入探讨岭回归在病态条件下的作用机制与优化算法的收敛特性。通过SVD分解揭示正则化如何改善高条件数矩阵的数值稳定性，分析正则化参数λ在降噪与参数估计之间的权衡关系。同时，系统研究了Armijo线搜索策略下α和β参数对梯度下降法收敛速度的影响，发现了特殊的参数平衡点。实验表明，在条件数极高的病态问题中，合适的正则化强度可使测试误差降低显著，而优化的Armijo参数组合能够在保证收敛质量的同时大幅减少计算开销。本文为处理病态回归问题和优化算法参数调优提供了理论分析和实践指导。

This note gives a simple and mathametical based overview of Gaussian Process Regression (GPR).

本文基于BS模型假设，通过构造混合随机分布的方法，对期权价格进行拟合，进一步分析期权价格。

Tensorboard是一个用于机器学习实验的可视化工具包。TensorBoard允许跟踪和可视化指标，如损失和准确性，可视化模型图，查看直方图，显示图像等，本文介绍pytorch架构下使用Tensor Board。核心原理是使用SummaryWriter()记录需要的数据（类似于Wandb的实例）并且在本地localhost进行可视化。