我正在学习一个用来跑PFL算法的代码框架，读代码的同时用这篇blog记录一些有关联邦学习的基础知识；以及一些python、pytorch的知识 数据集划分的平衡与不平衡含义在联邦学习中，平衡和不平衡主要指数据量上的分布情况： 平衡数据（Balanced Data）：每个客户端拥有的数据量大致相同。例如，如果有10个客户端和1000个数据样本，那么每个客户端分配到的数据约为100条。 不平衡数据（Unbalanced Data）：不同客户端拥有的数据量差别很大。例如，10个客户端中，某些客户端可能分配到300条数据，而另一些可能只有10条。这种情况在实际场...

一些有意思的东西

这篇blog用来记录我读的第二篇有关联邦学习的文献，其中也使用了nash bargaining game 基本概念Representation Collapse Entanglement表示崩塌纠缠：这是指在联邦无监督学习（FUSL）过程中，由于某个本地模型的表示崩塌（即该模型的特征表示不再具有区分度），会影响到全局模型和其他本地模型的表示能力。这种崩塌会导致整个系统的表示能力下降，使得模型在处理非独立同分布（non-IID）数据时效果不佳。 Flexible Uniform RegularizerFUR：灵活均匀正则化器，这是FedU2方法中的一个组件...

这篇blog用于记录我阅读论文《 Improve global generalization for personalized federated learning within a Stackelberg game》过程中学习到的一些基础知识。 基本概念PFL个性化联邦学习：在联邦学习(FL)的基础上， PFL的目标是为每个客户端训练一个个性化模型，适应每个客户端的特定数据分布和需求。PFL适用于各客户端数据分布差异较大，且每个客户端需要一个定制化模型的场景。不同于FL训练一个全局共享的模型，希望是该模型在所有客户端上表现良好。 PFL分类“Towar...

这篇blog用于记录我学习一篇有关运用Nash博弈解决联邦学习有关问题的论文时，学习到的相关知识 基础概念Federated Learning基本架构联邦学习的基本架构是Server和Clients Server通常没有数据，可以有一些用于评估模型的数据，但是在普通联邦学习中Server没有任何数据 Clients持有实际的训练数据，Clients的数量取决于有多少分布式的数据要参与训练。Clients会在各自的本地数据集上进行实际训练。 服务器和客户端都拥有自己的模型副本，前者的称为全局模型，后者的称为局部模型。 训练过程 服务器初始化全局模型参数 将...

这篇blog用于记录我进行强化学习入门时学习到的基础知识 基本概念一些基本要素： Agent：进行“学习”的主体，会通过学习到的经验与环境交互，并在与环境交互的过程中进一步学习。 Environment：Agent交互的对象，客观存在，例如智能驾驶捕捉到的一张图片 State：Agent观察当前自己所处环境，获取到的局部环境信息 Action：Agent根据State结合自己以往的经验做出的行动，行动会改变Environment（Action可能是离散值，也可能是连续值，处理方法是不同的） Reward：Agent执行Action改变Environmen...

这篇blog用于记录我阅读的一篇将传统的Game中的方法应用到学习中的论文 论文理解思路： 经典的Meta-learning的框架 Meta-learning在learning with fairness中的运用（框架、典型的方法） 经典方法中存在的问题 & 使用 NBS的改进 Meta-learning的框架在解决机器学习的过程中对于不同group的公平性问题的时候，会使用sensitive-attributed validation set来训练调整模型的参数，这个过程与常规的训练过程相结合通常被套入一个meta-learning frame...

拜占庭将军问题是什么（它阐述了什么）？对于n个将军，将一个视为指挥将军，其它n-1个视作它的副将，指挥将军会向所有副将发送命令。在此基础上，拜占庭将军问题就是考虑一种算法，确保1）所有忠诚的副将将遵守相同的命令；2）如果指挥将军是忠诚的，则每个忠诚的副将都必须遵循他发送的命令。 如何确保忠诚的将军能够达成一致的行动计划？对于只能使用口头消息的时候，在叛徒数少于总数的三分之一的时候，忠诚的将军能够按照下面的方法达成一致的行动：我们将第一个发送决策值的将军看错指挥官；在0个叛徒时，指挥官将决策值传递给副将，副将根据接收到的消息，或默认的撤退，直接做出对应的决...

一次计算机系统工程导论的习题 问题一选择：A 因为小明的客户端到S3之间的网络经常停止工作，每次几分钟，而根据伪代码，在更新S3服务器上的信息的时候，while循环会一直尝试直到rpc_OK被置为true为止。所以CLENTWRITE通常需要花费几分钟（S3导致的）或更长的时间（可能不排除S1、S2也有出问题的可能性），去更新服务器。 问题二返回：Breakfast 因为在系统没有故障的时候，该分布式系统的一致性是有得到保障的，根据题目中串行执行的代码，读取到的内容会是最后一次写入的内容，对应为Breakfast。 问题三选择：AB 对于A，如果客户端计...

用于记录我线上练习时遇到的知识点，以供日后复习的时候对照书本查看毛概与习概的复习思路都是先线上练习，记录知识点，期末的时候对照书本查看小题，同时背诵大题复习的时候要注意可能的题目变形 第二阶段题库二十届三中全会1 2024年7月15至18日，二十届三中全会在北京举行。全会指出，到2029年，完成《决定》提出的改革任务。 2 二十届三中全会提出，要健全因地制宜发展新质生产力体制机制，推动技术革命性突破，生产要素创新性配置和产业深度转型升级。（没有实体经济数字化，可以想想，确实实体经济难道一定要数字化吗？有的经济可能本身就不适合数字化…） 3 党的二十届三中...