1 Introduction Mamba是一次用状态空间模型来做深度学习的Foundation Model的尝试，原论文是《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》，arXiv: 2312.00752. 2 前置知识：状态空间模型 2.1 连续情况 状态空间模型在控制系统中常见，其目的是建立一个输入到中

1 Introduction 按层调节学习率是很重要的，但原始的torch.optim.optimizer类不含按层调整的功能，所以我们需要自定义一个流程来实现。为了方便的创建带这个功能的optimizer，最好的做法是使用工厂设计模式来创建optimizer。当我们需要不同的优化器的时候，optimizer factory总能够帮我们“加工”torch的optimizer来增加按层调整功能。

1 什么是AMP Automatic Mixed Precision是百度联合英伟达一起推出的一个训练trick，通过在训练过程中部分使用FP16的半精度数据来极大节省内存，同时能加快训练速度。最开始要使用Apex框架来开启AMP训练，但现在PyTorch已经自带AMP相关功能。 2 AMP训练的挑战 AMP训练一般会遇到几个问题，第一是有可能遇到数值下溢和数值上溢，由于FP16能表示的范围要

PyTorch参数自动命名规则 当我们使用 12for name, params in model.named_parameters(): print(f"Parameter Name: {name}, Parameter Shape: {params.shape}") 时可以看到模型的参数以及参数的名字，PyTorch内部实际上

MetricLogger：大厂都在用的指标记录器 MetricLogger是现在比较流行的一个用来记录各种metric的类，它实际上最开始来源于DeiT项目，而DeiT项目又是从torchvision-classification-reference-utils.py里面抄过来的，所以总的来说是PyTorch提供的一个轮子。 1 前置模块：SmoothedValue SmoothedValue

单机多卡DDP tutorial 1 什么是DDP 当数据足够多的时候，一张显卡装不下很大的batch_size，我们需要将数据分摊到多个显卡上去。 DDP的思路很简单，我们在每个显卡上面都创建一个模型的复制以及相同的Optimizer，数据被Distributed Sampler平分，并送到每张显卡上完成Forward和Backward过程。 但如果只做以上步骤的话，我们得到的是四个不同参数

Review on 波动光学 1 波动方程 光可以看作波在介质中传播，在自由空间中，光传播的速度记为c0c_0c0​，如果介质是齐次的，或者说其折射率nnn不变，那么在介质中传输的速度是 c=c0nc = \frac{c_0}{n} c=nc0​​ 光波由一个实函数描述，我们记距离向量r=(x,y,z)\boldsymbol{r}=(x,y,z)r=(x,y,z)，其中x,y,zx,y,zx,

Overview of GAN 1 GAN的诞生 GAN的全称为Generative Adversarial Net，意思是对抗生成网络。 在这之前，生成式网络总会遇到很多难以实现的概率计算方法，这些问题在最大似然估计等策略中经常出现。 而GAN采用一种完全不同的方式来学习数据集的分布。 首先，我们定义一个生成器GGG，生成器的输入是一个随机噪声z∼pz(z)z\sim p_z(z)z∼pz​

03 Chapter 3：调制模拟信号

01 信号与系统的基础 1 信号 信号其实广泛指代现实世界中的各种物理现象，例如，人说话的声音是一种信号，它在不同时间有不同的音量大小。股票价格是一种信号，在不同时间股票的价格不同。当然，也有与时间没有关系的信号，例如一张静态的图片，图片上像素点的亮度值与所处图片的位置有关。 所以，信号总是一种在变换的值，可能随着时间变化（声音，股票），可能随着空间变化（图片）。它可能还随着其它因素变化，但在