Introduction Early in 2024, when I was still working on computer vision (CV), Mamba had just been introduced, and I saw many attempts to apply it to images. However, models like Mamba or RNN/SSM inher

1 Introduction Mamba是一次用状态空间模型来做深度学习的Foundation Model的尝试，原论文是《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》，arXiv: 2312.00752. 2 前置知识：状态空间模型 2.1 连续情况 状态空间模型在控制系统中常见，其目的是建立一个输入到中间状态

Overview of GAN 1 GAN的诞生 GAN的全称为Generative Adversarial Net，意思是对抗生成网络。 在这之前，生成式网络总会遇到很多难以实现的概率计算方法，这些问题在最大似然估计等策略中经常出现。 而GAN采用一种完全不同的方式来学习数据集的分布。 首先，我们定义一个生成器GGG，生成器的输入是一个随机噪声z∼pz(z)z\sim p_z(z)z∼pz​(z

单机多卡DDP tutorial 1 什么是DDP 当数据足够多的时候，一张显卡装不下很大的batch_size，我们需要将数据分摊到多个显卡上去。 DDP的思路很简单，我们在每个显卡上面都创建一个模型的复制以及相同的Optimizer，数据被Distributed Sampler平分，并送到每张显卡上完成Forward和Backward过程。 但如果只做以上步骤的话，我们得到的是四个不同参数的模

MetricLogger：大厂都在用的指标记录器 MetricLogger是现在比较流行的一个用来记录各种metric的类，它实际上最开始来源于DeiT项目，而DeiT项目又是从torchvision-classification-reference-utils.py里面抄过来的，所以总的来说是PyTorch提供的一个轮子。 1 前置模块：SmoothedValue SmoothedValue提供

PyTorch参数自动命名规则 当我们使用 12for name, params in model.named_parameters(): print(f"Parameter Name: {name}, Parameter Shape: {params.shape}") 时可以看到模型的参数以及参数的名字，PyTorch内部实际上有

1 什么是AMP Automatic Mixed Precision是百度联合英伟达一起推出的一个训练trick，通过在训练过程中部分使用FP16的半精度数据来极大节省内存，同时能加快训练速度。最开始要使用Apex框架来开启AMP训练，但现在PyTorch已经自带AMP相关功能。 2 AMP训练的挑战 AMP训练一般会遇到几个问题，第一是有可能遇到数值下溢和数值上溢，由于FP16能表示的范围要小很

1 Introduction 按层调节学习率是很重要的，但原始的torch.optim.optimizer类不含按层调整的功能，所以我们需要自定义一个流程来实现。为了方便的创建带这个功能的optimizer，最好的做法是使用工厂设计模式来创建optimizer。当我们需要不同的优化器的时候，optimizer factory总能够帮我们“加工”torch的optimizer来增加按层调整功能。 2

RLHF – DPO ongoing

RLHF – GRPO ongoing