多模态的下游任务

1. 图文检索（Image-Text Retrieval）：图像到文本的检索，文本到图像的检索，即给定一个数据库（gallery），再给定query，找到对应的ground-truth，评价指标通常是recall，即R1、R5、R10
2. 视觉蕴含（Visual Entailment）：即给定一个前提：一句事实陈述，和一个假设：另一句待判断的话。模型需要判断这两句话之间的逻辑关系：

• 蕴含 (Entailment)：从前提可以合乎逻辑地推导出假设。
• 矛盾 (Contradiction)：假设与前提的描述相矛盾。
• 中立 (Neutral)：假设与前提没有明确的逻辑关系，既不蕴含也不矛盾。

因此这个任务通常被看成是一个3分类的任务

3. 视觉问答（Visual Question Answering）：即给定一个问题和一个图片，模型需要预测一个答案。VQA通常有两种版本：一种是闭集VQA，一种是开集VQA，闭集VQA中，通常有一个答案的集合，模型需要选出正确的答案，因此闭集VQA通常也被看作是一个分类任务。而开集VQA则是模型需要生成一个文本来回答问题，因此开集VQA也被看作是一个文本生成的任务，需要一个transformer decoder来生成答案
4. 视觉推理（Natural Language for Visual Reasoning）：该任务是取预测一个文本能否同时描述一对图片，因此这是一个二分类问题
5. 视觉定位（Visual Grounding）：给定一个文本和一张图片，模型需要根据描述文本定位到图片中的区域（框选出图片中的对应区域，类似于目标检测） 查看全文 >>

读BERT的论文

1. bert基于MLM 和 “next sentence prediction” 任务进行预训练

2. 因为注意力机制的计算是双向的，跟RNN不同，RNN是单向的，因此bert是双向地提取特征

3. bert使用的是wordPiece的分词方式，vocab_size = 30000, 每个序列的第一个token是[CLS],然后[SEP]分隔句子

4. [CLS] 最终的隐藏层状态会被用来分类任务(也叫做CLS池化)，如果是token级别的任务的话，选取对应token的输出即可，然后加一些全连接层做token的分类

所有代码均可在train_my_tokenizer.py中找到

如何使用tokenizers库训练自己的tokenizer

tokenizers 包含五个组件，分别是Normalizers，Pre-tokenizers，Models，Post-Processors，Decoders

Normalizers

normalizers.NFC: 会将基础字符和附加字符组合成一个单一的预组合字符，例如e + ´ → é

normalizers.NFD: NFC逆过来，将一些预组合字符分解为基础字符和附加字符，如：é → e + ´。

normalizers.Lowercase：转为小写

normalizers.Strip：去除左右两边的空格（可以配置只去除左边或者只去除右边），但是对于llm模型来说，通常会需要处理代码问题，这时候空格就变得比较重要了，因此大多数时候不会去除空格

normalizers.StripAccents:移除字符上的重音或变音符号。例如："déjà vu" → "deja vu"（通常先使用NFD进行分解，然后去除重音符号）

normalizers.Replace：使用正则表达式/字符串替换文本

normalizers.Replace: 在字符串开头添加前缀

normalizers.ByteLevel:将字符串转为字节序列（一般是UTF-8编码），byte—bpe会用到

手写transformer

所有代码可在study-transformer中找到

Input_Embedding

通常我们首先会构建词表，然后每个词对应一个idx，即编号，然后通过embedding层转换为词向量

需要注意的是：这里需要指定一个padding_idx,即padding字符的对应编号是多少，转换为词向量的时候，它的词向量为0

论文3.4中提到，在embedding 要乘以

1
2
3
4
5
6
7
8
9
10
11
12
13
14

class Input_Embedding(nn.Module):
    def __init__(self, vocab_size: int, embedding_dim: int, padding_idx: int):
        super().__init__()
        self.vocab_size = vocab_size
        self.embedding_dim = embedding_dim
        self.embedding = nn.Embedding(
            num_embeddings=vocab_size,
            embedding_dim=embedding_dim,
            padding_idx=padding_idx,
        )

    def forward(self, x):
        # (batch_size,seq_len) -> (batch_size,seq_len,embedding_dim)
        return self.embedding(x) * math.sqrt(self.embedding_dim)

使用传统的LSTM

1. 用的飞桨上的中文情感分类的数据集

2. 进行分词，我使用了jieba对中文分词，构建词表

   这里如果语料库比较小，可以使用jieba 的全词模式进行分词，这样可以得到更多的词，减少OOV的概率

   • 一般是先进行分词，再统计每个词的频率，若语料库比较大，可以根据情况过滤掉低频词（也可以不过滤）
   • 最后得到词表和stoi（词到索引的映射）、itos（索引到词的映射）
   • 通常我们会加入一些特殊的词，例如<unk> 表示一个词表不存在的词、<pad>在训练的时候进行填充来保证输入的向量维度相同

低秩分解

低秩分解旨在将一个高维、可能含有噪声低矩阵分解为两个/多个低秩句子的乘积。例如如果原始矩阵为M，那么我们希望找到两个低秩矩阵 A、B，使得M ≈ AB,这种近似方式在损失尽可能少的信息的同时，降低了数据的复杂性和计算量，常用于数据压缩，降维

量化

量化方法的分类

1. 对称性：非对称量化、对称量化
2. 均匀性：均匀量化、非均匀量化
3. 训练后量化（PTQ）、量化感知训练（QAT）
4. 动态量化、静态量化
5. 线性量化、非线性量化

对于量化来说，我们需要保证模型推理过程中（例如可以提高bachsize），计算时间占主导地位，而不是读数据、写数据占主要时间。这样我们使用量化就能明显地加速，否则可能量化之后和没量化的时间差距并不大

量化的计算方法

最常用的是仿射量化（Affine Quantization），也称为线性量化（Linear Quantization）*或*非对称量化（Asymmetric Quantization）。其核心思想是将一个浮点数范围 [r_min, r_max] 线性地映射到一个整数范围 [q_min, q_max]。

有符号整数和无符号整数的范围不一样

我理想的听歌方案

1. 我的话目前有mac，Windows，android，因此我的听歌的方案需要满足这三个端

2. 其次需要能够保持歌单的同步

3. 能正常听歌，无广告等等

Mac下将word导出为pdf交叉引用失效

1. mac下的word没有没有导出为pdf的的选项，只能command + p 进入到打印的页面，将其导出为pdf，但是导出的pdf交叉引用的跳转会失效。

   解决方法：

   在word的加载项，找到Soda PDF Converter 插件，使用它将docx导出为pdf，这种方法导出的pdf中，会保留交叉引用的跳转功能。

2. 由于我使用的是endnote21来对参考文献进行管理，使用endnote21导入参考文献，但是导入的参考文献并没有交叉引用，导出为pdf之后也不能直接跳转。

   解决方法：

   

   将Link in text ... 勾选，然后更新参考文献，在word中点击文献编号即可调整到对应的位置，最后使用Soda PDF Converter将docx导出为pdf，导出的pdf中参考文献和交叉引用的图表均能正确跳转。

   

我遇到的一些坑

1. 学生证的首页信息上没有写学校名称，盖了一个学校的章，所以建议大家使用学信网的在线验证报告申请，并且是英文的

2. 申请的时候不能使用VPN

3. 上传信息的时候，使用手机拍照上传，不要选择文件上传（成功率低）

4. GitHub的profile中的姓名改为自己的中文名字的拼音

5. GitHub的billing 中的信息需要改为自己中文名字的拼音