混合交叉注意力模块是Transfomer的一个核心，该模块位于Decoder中。该模块是一个多头注意力模块，之所以名为混合交叉注意力模块，是因为其每个头的Q、K、V的来源，其中K、V对应来自于Encoder而Q来自Decoder。 初学时我不由得想到一个问题：在最简单的机器翻译的例子中，Encoder的输入（源）来自中文、而Decoder的输入（目标）来自英文，Encoder对输入信息经过self-attention机制处理后汇聚的是“中文语义信息”，而将此作为K、V用于Decoder中，mult-head attention处理后注意力汇聚到的也应该是...
26年春季学期选修物联网的学习记录 物联网的构建环节 智能设备选择 按照需求选择合适的智能传感设备； 尽可能使用成熟的智能设备，因为该步骤是获取所需数据； 智能设备互联 将智能设备与计算机连接，有线连接或无线连接 设备交互软件编程 智能设备与计算机不能直接交互 需要在计算机端编写交互软件 使得能够建立通信、正常交互 计算机端能够按照协议发送请求命令，并接收智能设备的传感数据 应用软件开发 实现对监测对象传感器的数据存储、数据分析和数据检索 应用互联开发 为构建物联网系统，需要实现多个应用软件之间互联，避免信息孤岛 主要的方式有制定标准规范、提供访问接口等...
这篇blog用来记录准备2026年夏令营时复习的相关知识，涉及数学与专业课的多门课程，预计采用提纲的知识点式的记录方式。 AI相关机器学习常见的机器学习算法 监督学习 决策树 朴素贝叶斯 最小二乘法 逻辑回归 SVM 集成学习 无监督学习 k-means PCA SVD分解 GMM 回归和分类 监督 连续、离散 k-means算法流程 1 2 3 4k-means算法的缺点 1 2 3k-means的简单改进 PCA算法流程 1 2 3 4SVD如何优化PCA KNN 监督学习 预测过程 决策树算法 监督学习 训练过程 构建决策树 剪枝 预剪枝 生成时 ...
大三的春季学期选修了编译原理这门课程，这篇blog用来记录其中关键的知识点 ch1：绪论本课涵盖范围内容： 编译器概述 词法分析 上下文无关文法和语法分析 语法制导翻译和类型检查 运行时存储空间的组织和管理 中间代码生成 编译的概念： 将高级语言翻译成汇编语言或机器语言的过程； 1）高级语言： 类似数学定义或自然语言的简洁形式； 2）汇编语言： 在机器语言的基础上引入助记符； 3）机器语言： 可以被计算机直接理解的语言； 注意： 1）高级语言称为源语言； 2）汇编语言&机器语言称为目标语言； 语言处理系统： 处理过程： 源程序 by 预处理器 -...
为机器学习补充一些高等数学、线性代数、概率统计以及最优化的数学知识 Hessian矩阵Hessian矩阵是由多远函数的二阶偏导数组成的矩阵。 数学的形式化描述： 如果函数$f(x_1,x_2,…,x_n)$二阶可导，则Hessian矩阵定义为 $$\begin{pmatrix}\frac{\partial^2 f}{\partial x^2_1},\frac{\partial^2 f}{\partial x_1\partial x_2}\cdots \frac{\partial^2 f}{\partial x_1\partial x_n}\\frac{\...
支持向量机是最大化分类间隔的线性分类器，如果使用核函数，可以解决非线性问题。 线性分类器线性分类器本质是n维空间中的超平面，将空间切割成两部分。进行二分类。 数学形式： $w^Tx + b = 0$ 其中 $w$是权重向量 $x$是输入向量 $b$是偏置项 二分类问题正类标签值$y = +1$，负类标签值$y = -1$ 在线性分类器中我们认为$w^Tx_i+b\ge 0$，则样本$x_i$就属于正类，否则为负类 判别函数可以写作 $sgn(w^Tx+b)$ 其中$sgn(x) = 1,-1;if:x\ge 0,x...
函数类假设有神经网络架构，考虑其中所有可学习参数的所有情况，假设其能表征的所有函数形成函数类$F$，假设我们最终想要的是函数$f^*$。 如果$f^* \in F$，那么我们可以通过训练得到它 否则我们往往只能得到一个函数$f^*_{F} \in F$，这是在神经网络架构覆盖的函数类中对于当前数据集表征最好的函数 实际上加深网络的过程，就是为了扩大神经网络对应的函数类的范围 但是范围的扩大不意味着更加接近$f^*$ 我们想确保的是网络的复杂不能导致$F$远离$f^*$（网络衰退），这个时候就需要嵌套函数类，即随着网络复杂程度的增大，所得到的$F_i$是$...
模型结构Transformer采用列编码器-解码器架构，其编码器和解码器都是基于自注意力模块叠加得到的 其模型结构是这样的
用来记录力扣hot100题的思路 hot1-两数之和思路： 使用哈希表存储value-index的索引 两个需要关注的点：1）不能使用相同元素；2）哈希表value,index只能存储一个 元素值,元素索引 的pair 如果提前for预处理哈希表可能引发的问题：在存在答案 or 不存在答案的情况下 都可能以重复的相同元素的索引作为答案返回（显然错误） 解决方法：一次for循环，每检查一个x，检查target-x是否在哈希表中，在则找到答案；否则将 x,index 存入哈希表 不用担心返回两个相同元素的索引，检查到x时可以确定 x,index 不在哈希表中...