简单线性模型的局限在最简单的单层神经网络中，我们会使用线性模型。其中涉及仿射变换的线性是一个很强的假设。 线性意味着单调假设： 任何特征的增大都会导致模型输出的增大（如果对应的权重为正）， 或者导致模型输出的减小（如果对应的权重为负）。 但是线性模型可能是正确的，但也可能会出错： 例如，如果我们试图预测一个人是否会偿还贷款。 我们可以认为，在其他条件不变的情况下， 收入较高的申请人比收入较低的申请人更有可能偿还贷款。 但是，虽然收入与还款概率存在单调性，但它们不是线性相关的。 收入从0增加到5万，可能比从100万增加到105万带来更大的还款可能性。 处理...

从全连接层到卷积卷积神经网络正是将空间不变性（spatial invariance）的这一概念系统化，从而基于这个模型使用较少的参数来学习有用的表示 平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。 局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。 图像卷积互相关运算卷积层会执行互相关运算，如...

这篇blog用来记录学习Pytorch关于自动求导的官方文档时了解到的一些东西 官方文档参考连接Pytorch_Autograd_mechanics 反向传播时对于计算图上各种函数的处理 If the function is differentiable and thus a gradient exists at the current point, use it. If the function is convex (at least locally), use the sub-gradient of minimum norm. 补充sub-gradi...

在机器学习中不乏有涉及矩阵的运算，其中矩阵求导更是涉及优化问题的关键。虽然现在有很多开包即用的api可以帮助我们完成这个工作，但是我还是想了解一些它们底层的工作原理。用这篇帖子记录之。 标量函数对向量的求导在高等数学中我们学习了多元函数的导数，例如$f(y_1,y_2)$是一个对$y_1,y_2$的函数，其导数如下 $\frac{\partial f(y_1,y_2)}{\partial y_1},\frac{\partial f(y_1,y_2)}{\partial y_2}$ 基于此我们可以定义标量函数对向量求导，因为多元函数中“多元”的变量本身就可...

成绩构成：平时（出勤、课堂表现、小组作业）30% + 期末闭卷考试 70% 第一节课项目管理的特点 有确定的开始与结束 要达成一个目的 要开始一个“新”服务（复制一个服务不是项目管理，但是对已有的服务进行升级和改造是一个项目） 区别项目与相关工作 第二节课项目经理，两个重点 拉好自己的队伍 选择合适的生命周期模型 WBS是最核心的东西，后面会讲可以听一听； 这门课听这三个东西即可： 范围的WBS进度的关键链成本的政治 三件事是一件事，形成一个三角形；

线性回归线性回归的基本元素线性回归基于几个基本的假设： 自变量$x$核因变量$y$之间的关系是线性的，即因变量可以表示为自变量中元素的加权和 观测值和真实值之间存在一些噪声，但是噪声比较简单，认为服从正态分布 一些基本概念一个实际的例子： 我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。 为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。这个数据集包括了房屋的销售价格、面积和房龄。在机器学习的术语中，该数据集称为训练数据集（training data set） 或训练集（training set）。 每行数据（比如一次房屋...

如何引用文献 使用谷歌学术、百度学术等平台查阅自己要引用的文献； 找到对应的Texbib文件； 复制粘贴到自己的bib文件中； 使用bib文件引用文献

在面对一个庞大的任务之前，会有一些对于“开始这件事”的抵触或许是人类的可爱反应吧...anyway 在沉迷于其他的各种事物而推迟这件事的开始已经够久后，我决定正式开始准备“成为一名研究生”了！ 保研连去哪里读书都没确定好，当然不能成为研究生了！所以第一件事就是先准备一下保送研究生的事吧... 需要准备的材料用来展示实力的 简历 个人陈述 推荐信、自荐信 自我介绍（ppt、中文口述、英文口述） 套磁信 用来证明你展示的实力是真的 证件照、学生证、身份证 在学证明、排名证明、历年成绩单 获奖证书、科研文章证明 英语成绩 院校信息收集北京大学 软微学院 计算机...

自己的windows本由于外星人x14的模具通病问题，用久了之后屏线折损了，屏幕无法亮起。这个问题是自己对着相关攻略贴多般对照检查出来的，屏线也买好了。苦于动手能力较差，一直不敢对照攻略贴上手更换。近日去电脑城维修，对方一边说可能不是屏线的问题（实则他什么都还没测），要拆主板很麻烦（x14主板是倒扣的，但是我看的许多攻略贴没有一篇拆主板的），总之感觉不靠谱且想多收我费（甚至想给我换屏幕）。遂决定自己动手，在那之前写这篇blog来记录理论上的完整更换流程。 维修步骤与注意事项拆机步骤 拆笔记本后盖，一共有6个螺丝钉； 螺丝拆下来之后如果后盖比较紧，可以用拆...

这篇blog写在大三秋季学期结束后的第一天，这个寒假打算再重新系统性地练习一下算法。虽然过去三年里我在零散地学习中已经有了一定的基础，但是我和乐乐会按照这个路线一起学习，所以整个路线设计还是以稳固基础为主。目标是在完成整个路线的学习后，对于暴力类题目能够得心应手、并掌握一些简单的优化思路 bg：C++这次使用的语言是C++，在开始正是学习算法之前，我们要先掌握针对算法所必须的C++语言知识，具体如下。 基本的数据类型与用法（int、bool、char、double、数组） 基本的控制结构（顺序、选择、条件分支、循环） 基本的函数调用（从习惯使用solve...