Notes from the in-between

在数学、计算与
想象力之间。

应用数学、Scientific Computing、Modeling,以及一些二次元和生活记录。

Latest writing

最近文章

查看全部 →

2026/01/25 · 6 分钟阅读

Synergistic Information Distillation for Machine Learning

Synergistic Information Distillation (SID) 该算法通过 协同信息蒸馏 实现完全无反向传播的模块化训练,核心思想是将深度网络分解为多个独立优化的模块,每个模块通过局部目标函数逐步精炼”信念分布”。 网络架构 整体结构 变量说明 : x : 输入数据(如图像)

2026/01/25 · 2 分钟阅读

Introduction to ResNet

算法部署 Residual Block 结构 ResNet的核心创新在于引入了 残差连接(Residual Connection) ,也称为 跳跃连接(Shortcut Connection) 。每个Residual Block的基本结构如下: 算法流程 数据流动过程: 1. 输入阶段 :特征图 x

2026/01/25 · 4 分钟阅读

Convolutional Channel-wise Competitive Learning

卷积通道竞争学习 (CwC) 算法部署笔记 该算法通过 通道维度的竞争机制 实现完全无反向传播的卷积网络训练。其核心思想是将特征图划分为类别相关的通道组,通过最大化目标类别的激活强度来引导网络自主学习特征,摆脱了对全局梯度和负样本生成的依赖。 1. 算法部署框架 1.1 核心架构:CFSE Bloc

2025/12/07 · 37 分钟阅读

能量稳定梯度流方法在深度学习中的实证评估:理论承诺与实践挑战

1. 引言 (Introduction) 1.1 研究背景 深度学习已成为人工智能领域最重要的技术之一,在图像识别、自然语言处理、语音识别等众多领域取得了突破性进展。深度神经网络的训练本质上是一个高维非凸优化问题,其目标是最小化损失函数: \min {w \in \mathbb{R}^n} L(w)

2025/11/22 · 17 分钟阅读

浅谈岭回归与Armijo策略在梯度法中的表现

引言:岭回归及其闭式解 在实际的数据科学中,我们经常遇到病态(ill conditioned)的数据矩阵,即设计矩阵 \mathbf{X}^T\mathbf{X} 的条件数很大,导致最小二乘估计对噪声极其敏感。这种情况在高维数据、共线性特征或样本量不足时尤为常见。病态问题会导致模型参数估计不稳定、方

2024/07/25 · 3 分钟阅读

Tensorboard 部署测试

Tensorboard in Pytorch Introduction Tensorboard是一个用于机器学习实验的可视化工具包。TensorBoard允许跟踪和可视化指标,如损失和准确性,可视化模型图,查看直方图,显示图像等,本文介绍pytorch架构下使用Tensor Board。核心原理是使