在过去的科研、竞赛，日常学习中多多少少接触了一点Pytorch，算是有一点点基础，但是很多知识不成体系，于是为了加深自己在AI方向的基础素养，趁着有时间再系统学习一下Pytorch 水平有限，如有错误，多多指正！ 仓库链接github 数据加载数据加载主要使用两个类： Dataset：负责将数据文件从操作系统的文件系统（外存）中读取出来； Dataloader：负责将数据文件组织成一定的形式，例如batch，用来训练；这两个类共同实现了将存储在文件系统中的数据，提供给模型进行训练的功能，属于前后协作； 此外一个数据一般有： 数据本身； label；对于前...
从全连接层到卷积卷积神经网络正是将空间不变性（spatial invariance）的这一概念系统化，从而基于这个模型使用较少的参数来学习有用的表示 平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。 局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。 图像卷积互相关运算卷积层会执行互相关运算，如...
工作原理思想：贝叶斯分类器使用贝叶斯公式计算样本属于某一类条件的概率值，并将样本判定为概率值最大的那个类； 形式化描述： 当前有一个d维样本$x = (x_1,x_2,…,x_d)$ 它有多个可能隶属的类别${c_1,c_2,…,c_k,…c_m}\in C$ 贝叶斯分类器采用的分类方法是$\arg\max_{c\in C} p(c|x)$即样本$x$所属的类 后续内容都是围绕，如何计算上述条件概率而展开。下面补充一些基本概念。 贝叶斯定理 贝叶斯定理描述了类条件概率、先验概率和后验概率的关系。 贝叶斯分类器中需要最大化的条件概率就是后验概率 ...
我在大学三年级的秋季学期选修了数据库系统导论这门课程，这篇blog用来记录：1）我对于相关知识点复习的梳理；2）一些习题；3）考试的重点 复习梳理复习梳理≠照搬原文，内容阐释点到为止，最重要的是达成两个目的1）梳理整体知识脉络，形成框架；2）标记重点，便于回到资料中复习；所以最后阶段的背诵记忆，应该用这份梳理为参考结合老师的资料进行 期末：1）过一遍要背的；2）练习时间多关注关系代数、SQL、综合分析（关系数据理论）； 绪论这一章主要有4个部分，从前往后，1）在数据库系统概述中了解了与数据库有关的基本概念；2）在此基础上，为了把现实世界中的事物抽象为数据...
期末复习，知识点记录 传输层端口号的作用；在TCP、UDP中的使用（SOCKET嵌套字）；熟知端口号范围；端口号的独立性； 传输层的功能；传输层复用和分用的体现；TCP与UDP差错检测的区别；传输层向应用层提供的两种服务的特点 常见应用层协议使用的传输层端口号：HTTP、FTP、TFTP、DNS；TELENT、SMTP；SNMP 有连接的传输、无连接的传输；可靠的传输、不可靠的传输； UDP首部格式（8B）；伪首部的格式（12B）；UDP校验和计算方式（伪首部，0，17）；UDP使用校验和检错； UDP与TCP的对比：1）首部长度2）是否支持报文的拆分、...
这篇blog用来记录我在大学三年级的秋季学期，选修计算机图形学时学到的专业知识，以备增强自己的专业素养以及应对后续考核 光栅化引入： 到目前为止我们完成了： 1）模型变换-放置好了物品； 2）视图变换-放置好了相机； 3）投影变换-得到了标准空间下的图像信息； 下一步我们需要考虑： 如何将图像显示在屏幕上？ 视口变换； 一些基础概念 屏幕： 1）由像素构成，计算机将其抽象为数组进行管理； 2）数组的大小对应分辨率； 3）屏幕是典型的光栅化显示； 光栅：Raster，即德语中的屏幕； 光栅化：Rasterize，画在屏幕上； 像素：Pixel，具有颜色的小...
简介高斯混合聚类不同于k-means、LVQ利用原型向量刻画聚类结构，而是利用概率来刻画聚类结构。 简单来说，这种算法认为数据集中的每个样本都符合一个多元高斯分布（多元的原因是样本常是多元向量），如下 所有的样本共同符合“混合高斯分布”。混合高斯分布对应的概率密度函数是所有多元高斯分布密度函数的加权量。 多元高斯分布若$x$服从多元高斯分布，对应概率密度函数为 $p(x) = \frac{1}{(2\pi)^{\frac{n}{2}}\lvert \Sigma \rvert^{\frac{1}{2}}}e^{-\frac{1}{2}(x-\mu...
这篇blog用来记录我于大三秋季学期，学习操作系统时，了解到的知识，以备复习以及增强自己的专业素养 操作系统的基本概念L1操作系统需要解决的问题操作系统的功能？ 作为用户与计算机硬件系统之间的接口（例如上层的编程者使用系统调用完成相关工作） 对计算机系统资源进行管理（eg. 管理硬件CPU、存储器、外设，管理软件程序、数据；管理资源状态，如PCB、TCB；采取相关策略，对资源分配、回收等） 在需要的时候马上对计算机资源进行抽象（通过逻辑功能扩展物理功能，如在裸机上附加外设管理、文件管理、存储管理、处理器管理） 一些启发的问题： 直接使用计算机是很不方便的...
这篇blog用于记录我使用python对学习向量量化这种聚类算法的复现 算法简介学习向量量化也成为LVQ(Learning Vector Quantization)，同样属于原型聚类算法，类似于k-means通过希望划分的簇的数量求得相同数量的“簇中心”并以此为原型将数据集划分为对应的簇，LVQ通过求得与希望划分的簇数量相同的“原型向量”，并以此来将数据集划分为对应的簇。 如果说k-means也同样是借助原型向量的话，那么关键就在于两种算法更新原型向量的方法不同。k-means是不断的用原型向量划分簇，又用簇更新原型向量；LVQ则是利用样本的预先标注作为...
函数类假设有神经网络架构，考虑其中所有可学习参数的所有情况，假设其能表征的所有函数形成函数类$F$，假设我们最终想要的是函数$f^*$。 如果$f^* \in F$，那么我们可以通过训练得到它 否则我们往往只能得到一个函数$f^*_{F} \in F$，这是在神经网络架构覆盖的函数类中对于当前数据集表征最好的函数 实际上加深网络的过程，就是为了扩大神经网络对应的函数类的范围 但是范围的扩大不意味着更加接近$f^*$ 我们想确保的是网络的复杂不能导致$F$远离$f^*$（网络衰退），这个时候就需要嵌套函数类，即随着网络复杂程度的增大，所得到的$F_i$是$...