avatar
阳生。
风毛丛劲节,只上尽头竿。
Nash-MTL(代码实现)

这篇blog用于记录我阅读Nash-MTL算法基于python的implemention,其中存在大量使用pytorch、tensorflow的地方,这些是我之前几乎没有接触过的东西,所以同时我也会进行相关的记录,进行学习。 Readme整篇blog从Nash-MTL开源项目的Readme文档开始,可以帮助我了解整个项目的文件组织结构。 conda在Python中,conda 是一个开源的包管理器和环境管理器,它主要用于安装和管理Python包以及创建和管理虚拟环境。 什么是包管理器和环境管理器通过查阅资料,我现在通俗的理解是: 包/库,项目开...

分布式计算框架MapReduce

这篇blog用于记录我在学习计算机系统工程导论时所做的一次实验。我阅读了一篇论文,其介绍了一种名为MapReduce的模型,它通过键值对来拆解任务同时并行地处理子任务,达到了提高数据吞吐率从而降低时延提高性能的效果。 实验目的主要实验目的如下: 通过实验,理解MapReduce框架的基本原理,掌握MapReduce框架的Map阶段和Reduce阶段的执行流程,以及数据的划分、传输和聚合过程,具备使用MapReduce进行简单的分布式数据处理,并能通过进一步自学进行更为复杂的分布式数据处理,从而掌握使用MapReduce进行大数据处理的基本系统设计能力。 ...

MapReduce

这篇blog用于记录,我在学习计算机系统工程导论,有关性能的章节时,阅读的一篇叫做MapReduce的论文 工程师提出MapReduce的编程模型和实现,他们的性能目标是什么?他们的性能目标是通过MapReduce实现大规模数据专用计算的自动并行化,使得缺少并行与分布式系统经验的程序员可以轻松利用大规模分布式系统资源,从而突破数据处理的时延这一性能瓶颈。 Google是怎么通过实现去满足这些目标的?MapReduce程序主要有用户部分和库部分,前者根据用户的业务逻辑需要在后者的基础上进行编写,而相关的并行化、容错、本地优化和负载均衡的细节被隐藏在后者中。...

论文精读:基于博弈论的多任务学习

这篇文献的原名是《Multi-Task Learning as a Bargaining Game》,这是我第一次尝试直接通篇阅读英文原文的文献,中间或许会遇到许多困难。我通过这篇blog来记录阅读的过程中遇到的概念,以及简单地对文章整体的脉络进行梳理。最终我希望对论文提到的算法进行复现,这篇blog将会是一个参考。 概念部分这一部分用于记录阅读时遇到的概念型词汇,并做一些补充解释。困难在于,有的词汇我并不清楚是否是概念型的专业词汇,亦或是只需理解表面含义的词汇... gradients梯度,包含某函数相对自身所有自变量的偏导数。 对于损失函数$L$梯度...

六级词汇

这篇博客用于记录我在备考英语六级时所做的词汇准备,目前我已经完成了核心词汇的记忆,我会在这里为这些词汇补充一些例句。目前的打算是每天20个词语,此外我会开始着手阅读、听力以及写译的准备,这篇blog中也会用于记录相应的内容 词汇2025.05.061 stabilize “How can I stabilize the colour of our love, my dear.” 2 manipulate “Your mean is that you can manipualte such a monster machine.” 3 ambiguous “...

计算机组成原理

我在大二下选修了计算机组成原理,这篇blog用来梳理相关知识点 前言一些学习计算机组成原理之前应该知道的知识… 计算机结构:系统程序员所能见到的硬件特性,指的是计算机的逻辑结构 计算机组成:计算机硬件的具体实现,指的是计算的物理结构 两类汇编语言,RISC & CISC,对应精简与复杂的指令系统,MIPS属于RISC的一种 计算机组成原理涉及:汇编,处理器、内存、IO三者对应的逻辑系统与硬件实现(数据通路),课程定位在整个计算机系统中处于硬件方面的数字电路之上,软件层面的操作系统之内(因为上到汇编),但在编译器之下(编译器同样属于OS的范畴) 核...

Py_learning

由于我在学习机器学习算法的时候,希望通过Python来对相关的算法进行复现。而自己在此之前其实零零散散不成体系地接触过Python语言,也了解一些基本的东西,但是对于Python中一些语言“特性”方面的东西所知甚少,例如变量的作用域与生命周期,不同模块间的访问等等;此外我对Python风格的代码写法也并不熟悉,其实写什么感觉都是C的味道......于是写下这篇blog用来记录,进一步对相关内容的学习 模块化的Python程序内置变量__name____name__是python模块当中的一个内置变量,每个模块都有。如果你选择当前模块开始执行,那么当前模块...

Clustering-learning-route

我从现在开始学习聚类相关的内容,最终目标是希望发表一篇相关的论文。我以现在浅显的眼光给自己定下的学习路线如下1. 完成西瓜书聚类部分的学习,完成的标志是将书上给出的伪代码进行真实地复现2. 阅读综述论文,了解聚类对应的科研领域当前大概的情况3. 阅读聚类有关的顶会论文......我以现在的知识,无法继续制定下面的计划了,因为我并不了解3、往后的真正开始着手科研工作会是怎样的。我目前粗浅的想法是,或许我会了解到一些聚类的具体应用,然后为了完成一篇相关的论文:我也必须将聚类投入到具体的应用当中去,这个时候我不得不学习一些其它领域的知识(当然,目前我并不清楚那...

Clustering-watermelon-book

聚类任务简介简单地说,就是要对一个n维向量元素的集合求一个划分,划分后的子集就是一类的(不相交的簇)。 对于数据集$D = {x_1,x_2,…,x_m}$,划分为k个不相交的集合$C_1, C_2, …, C_k$,若$x_i \in C_j$,则$\lambda_i = j$,其中$j \in {1,2,…,k}$,对应$\lambda_i$就是$x_i$的标签。聚类任务要做的是就是求出一个聚类结果$\lambda = (\lambda_1,\lambda_2,…,\lambda_m)$,其中$\lambda$为数据集的...

Traceroute

这篇blog用于记录我在学习计算机工程系统导论时,一个与网络有关的实验。 实验目的 学习Ping和Traceroute工具的使用,能够在网络开发和维护中熟练使用该工具获取网络状态和进行错误排查。 巩固课堂学习的因特网分层设计实现知识,理解因特网的分组转发网络的特性,通过分析互联网数据包因转发而产生的时延,加深理解尽力而为的因特网设计思想。 通过分析ICMP协议,学习在分层设计中进行跨层通信的设计实现方法,思考因特网网络层在错误处理上的折中设计和处理技巧。 通过Traceroute工具基于错误处理包进行路径探测功能的设计,体会在实践中体会设计方案在解决问题...

15678