模型结构Transformer采用列编码器-解码器架构，其编码器和解码器都是基于自注意力模块叠加得到的 其模型结构是这样的

这一部分开始记录简洁的记录思路 滑动窗口无重复字符的最长子串思路： 使用滑动窗口，外循环l指针遍历每一个字符，内循环r指针向前增加当前窗口的长度直到出现重复字符； 维护一个哈希表来判断是否有重复字符出现，r指针每次遍历到对应的字符则将其加入哈希表，l指针离开时将其从哈希表删除 维护ans为，每次窗口停止增长时，当前窗口的最大长度； 注意： 虽然有双重循环，但是时间复杂度是O(N)，因为l、r本质上都是“独立地”遍历了一次字符串； 找到字符串中所有字母异位词思路： 根据参考字符串p的长度，维护一个滑动窗口，遍历字符串即可； 维护两个哈希表，一个存储p的所有...

注意力提示（相关基本概念）注意力的双组件框架 非自主性提示，来自吸引你注意力的物品本身客观自带的突出的特点； 自主性提示，来自你的大脑对你当前注意力的控制； 双组件的神经网络表示 非自主性提示 例如要想将选择偏向于感官输入，则可以简单地使用参数化的全连接层，甚至是非参数化的最大汇聚层或平均汇聚层。 当然，这称不上注意力，所以实际上只有自主性提示才称得上我们在深度学习中提到的“注意力” 自主性提示（在注意力机制背景下，称为查询），它作为“神经网络”的工作流程大致如下 1）注意力机制通过注意力汇聚（attention pooling）将选择引导至感官输入（s...

专业词汇fusion：融合，具体来说，它是将来自不同模态（即文本、视觉、音频）的特征或表示合并成一个联合的、更具信息量的特征向量的过程。这个联合向量随后被用于执行最终的任务（如情感分类或回归）。 utterances：多模态领域中，它指视频中说话者一次连续的、完整的语言表达。简单来说，就是视频中的一句或一段话。当说话者开始说话到停顿或切换话题之间的这段内容，就是一个 utterance。 注意，在本篇论文中utterance不只是一段语言、而是而是一个“小视屏” 其中有 low-level features from language visual mo...

过拟合在模型训练的过程中会呈现随着训练epoch的增加，模型开始是在训练集和测试集上的表现同步变好，再训练到一定程度之后模型在训练集上的效果变好的同时在测试集上的表现却变差。这就是过拟合。 在多项式回归中， 我们可以通过调整拟合多项式的阶数来限制模型的容量。 实际上，限制特征的数量是缓解过拟合的一种常用技术。 一些理论： 多项式对多变量数据的自然扩展是单项式（变量幂的乘积），多项式就是很多单项式求和 单项式的阶数是其中幂的和，例如$x_1x_2^2$的阶数是3 给定k个变量，随着阶数d的增加，阶数为d的项个数为$C^{k-1+d}_{k-1}$（因此阶数...

简单线性模型的局限在最简单的单层神经网络中，我们会使用线性模型。其中涉及仿射变换的线性是一个很强的假设。 线性意味着单调假设： 任何特征的增大都会导致模型输出的增大（如果对应的权重为正）， 或者导致模型输出的减小（如果对应的权重为负）。 但是线性模型可能是正确的，但也可能会出错： 例如，如果我们试图预测一个人是否会偿还贷款。 我们可以认为，在其他条件不变的情况下， 收入较高的申请人比收入较低的申请人更有可能偿还贷款。 但是，虽然收入与还款概率存在单调性，但它们不是线性相关的。 收入从0增加到5万，可能比从100万增加到105万带来更大的还款可能性。 处理...

这篇blog用来记录学习Pytorch关于自动求导的官方文档时了解到的一些东西 官方文档参考连接Pytorch_Autograd_mechanics 反向传播时对于计算图上各种函数的处理 If the function is differentiable and thus a gradient exists at the current point, use it. If the function is convex (at least locally), use the sub-gradient of minimum norm. 补充sub-gradi...

在机器学习中不乏有涉及矩阵的运算，其中矩阵求导更是涉及优化问题的关键。虽然现在有很多开包即用的api可以帮助我们完成这个工作，但是我还是想了解一些它们底层的工作原理。用这篇帖子记录之。 标量函数对向量的求导在高等数学中我们学习了多元函数的导数，例如$f(y_1,y_2)$是一个对$y_1,y_2$的函数，其导数如下 $\frac{\partial f(y_1,y_2)}{\partial y_1},\frac{\partial f(y_1,y_2)}{\partial y_2}$ 基于此我们可以定义标量函数对向量求导，因为多元函数中“多元”的变量本身就可...

成绩构成：平时（出勤、课堂表现、小组作业）30% + 期末闭卷考试 70% 范围、质量、制度、成本（核心） 期末第四章：项目范围管理 范围管理规划 项目范围管理的概念？ 范围管理规划的结果——范围管理计划（具体内容？） 需求管理 需求管理的重要性？（从代价来看） 软件需求定义的方法？ 需求管理的方法之需求跟踪矩阵 需求管理过程——需求变更管理如何做？ 范围定义 范围定义的概念？ 范围定义的方法有哪些？ 范围说明书（如何得到？有哪些内容？） 任务分解 任务分解过程是什么？ 任务分解的结果是什么？ 什么是WBS（任务分解结构）？ 如何检验任务分解结果？ 任务...

线性回归线性回归的基本元素线性回归基于几个基本的假设： 自变量$x$核因变量$y$之间的关系是线性的，即因变量可以表示为自变量中元素的加权和 观测值和真实值之间存在一些噪声，但是噪声比较简单，认为服从正态分布 一些基本概念一个实际的例子： 我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。 为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。这个数据集包括了房屋的销售价格、面积和房龄。在机器学习的术语中，该数据集称为训练数据集（training data set） 或训练集（training set）。 每行数据（比如一次房屋...