HUI

个人网上搜集 杂七杂八 1.说一下pytorch里面两种浮点类型怎么样混合计算的 二进制数系统中，每个0或1就是一个位(bit)，位是数据存储的最小单位。1个字节是8个比特，即：1byte = 8bit。而半精度浮点数FP16（FP，Floating Point浮点运算）使用2字节（16位）存储,单精度FP32使用4字节。 半精度Fp16的优势 深度学习系统大都采用的都是Fp32来进行权重参数的存储，随着模型越来越大，加速训练模型的需求就产生了。使用Fp32主要存在2个问题：第一是模型大，训练的时候对显卡的显存要求高；第二是模型训练速度慢。 与FP32相比，FP16仅有16bit，2个字节。使用Fp16可以解决或者缓解使用FP32的两个问题，FP16的优势就是： （1）显存占用更少：通用的模型 FP16 占用的显存只需原来的一半，训练的时候可以使用更大的batchsize。 （2）计算速度更快：有论文指出半精度的计算吞吐量可以是单精度的 2-8 倍。 但是无脑全部使用FP16也是存在风险的，因为相比FP32,FP16也有自身的一些缺陷。 半精度Fp16存在的问题 (1) 溢出错误 ...

个人网上搜集 八股文-深度学习(一) 解决过拟合的几种方法 数据增强 L1,L2正则化(权重衰减) Dropout early stopping BatchNorm归一化 什么是L1正则化与L2正则化? L1正则化:在原来的损失函数基础上加上权重参数的绝对值 loss=J(w,b)+λ2m∑∣w∣loss=J(w,b)+\frac{\lambda}{2m}\sum|w| loss=J(w,b)+2mλ​∑∣w∣ L2正则化(权重衰减):直接在原来的损失函数基础上加上权重参数的平方和 loss=J(w,b)+λ2m∑∥w∥F2loss=J(w,b)+\frac{\lambda}{2m}\sum\lVert w\lVert _F^2 loss=J(w,b)+2mλ​∑∥w∥F2​ 为什么能够缓解过拟合? 模型复杂度越大，模型越倾向于过拟合。因为神经网络就是一个函数，对其进行傅里叶变换求得频谱，频谱中低频分量就是变化平滑的部分，高频分量就是变化敏感的部分。模型对于微小扰动的反馈差异大实际就是一个过拟合的表现，也就是高频分量不能多。 衡量模型复杂度可以由线性函数f(x)=w ...

个人网上搜集 八股文-计算机视觉(一) R-CNN系列的比较 R-CNN 步骤一：在imagenet分类比赛上寻找一个cnn模型，使用它用于分类的预训练权重参数；对于这个模型修改最后的分类层，分为21类，去掉最后一个全连接层，因为所用的测试集为20类，且还有一类背景类。 步骤二：根据选择性搜索来对输入的图像进行选取2000个候选区域框；然后修改候选区域框的大小，以适应cnn的输入，然后用cnn来提取出每个候选区域的feature map。 步骤三：训练svm分类器，这个svm分类器是对于特定的某一类进行区分，是专门用来对特定敏感区域进行分类，每一个类别对应于一个SVM分类器 步骤四：使用回归器精细修正每个候选框的位置，对于每一个类，需要训练一个回归模型去判定这个框框的是否完美。 Fast-rcnn 步骤一：同样是寻找一个在imagenet上训练过的预训练cnn模型 步骤二：与rcnn一样，通过selective search在图片中提取2000个候选区域 步骤三：将一整个图片都输入cnn模型中，提取到图片的整体特征（这是相对于rcnn最大的改进的地方） 步骤四：把候选 ...

个人网上搜集 八股文-大模型(一) 介绍Whisper底层原理。 经典的Bert全套八股。 经典的Transformer全套八股文 介绍一下缩放点积注意力机制，以及它有什么作用 是否自己搭建过LLM，大概介绍一下 介绍chatGPT的训练流程 介绍RLHF完整训练过程

个人网上搜集 八股文-自然语言处理(一)