论文阅读Balanced Multimodal Learning via On-the-fly Gradient Modulation ▶Abstract Multimodal learning helps to comprehensively understand the world, by

感觉对每周干了些啥做个总结也许会很好，尝试尝试。 看到的资料 #LLM #attention 在 为什么现在的LLM都是Decoder-only的架构？ - 科学空间|Scientific Spaces 中提到，之所以使用 decoder-only 的架构，可能是因为在 decoder-only 架构中，attention 矩阵的秩在经过 softmax 之后是满的，因为 softmax 之后

先聊聊一年前在一年前，我还是一个时常破防的高中生，刚刚经历了高中三年的摧残，大概是有精神衰弱以及由此带来的诸多注意力不集中、睡眠极度困难等等毛病。搞过竞赛，数竞差了一道大题的分进省队（事后想大概是二试后面的时候，大脑已经完全转不起来，体力太差了）；信竞只在初中玩了不到一年。尝试过考丘班但是事实证明我不太像是学数学那块料。高考又是有计算错误痛失梦校；和要好的朋友绝交（不过应该是我自己的问题，幸而现在

参考 d2l 4.9 环境与分布偏移 当数据的分布发生变化时，可能会导致模型失效甚至完全失效。换句话说，通过将基于模型的决策引入环境，我们可能会破坏模型。 分布偏移类型假设训练数据是从分布 $p_S(\mathbf{x},y)$ 中采样的，而测试数据则是从分布 $p_T(\mathbf{x},y)$ 中采样。那么，如果完全不知道 $p_S$ 和 $p_T$ 之间的关系，那么不可能为这种偏移进行

第一章 人人生而自由，却无往不在枷锁中。 人人生而自由平等，仅为自身利益才会让渡自由。 奴隶在枷锁之下丧失了一切，甚至丧失了摆脱枷锁的愿望……是强力造就了第一代奴隶，奴隶们的怯懦则使其终身为奴。 即使是最强者，也绝不可能强大到永远是主人，除非把强力转为权利，把服从转为义务。 强力并不创设权利，人们有义务服从的，只是合法权力。 问题就在于寻找这么一种结合形式：可以用全部的共同力量维护和保障每个结合者

由于之前的 WSL2 文件过于杂乱，我又不想收拾整理，故重新配置了一遍，希望能够满足 Python、C++、C、markdown 等语言的编写，并记录下来方便日后参考。 准备工作 导出备份1wsl --export Ubuntu-22.04 D:\WSL\Ubuntu2204\Ubuntu2204.tar 把一些必要的文件夹移到 D 盘，方便转移回来，包括但不限于 .config 等文件与文件夹

$\sigma$ 代数 直观理解：$\sigma$ 代数可以编码事件信息。 首先回顾 $\sigma$ 代数的定义： 对于样本点空间 $\Omega$，如果 $\mathcal{F} \subseteq 2^\Omega$ 满足 $\emptyset, \Omega \in \mathcal{F}$ $\forall A \in \mathcal{F}, A^c \in \mathcal{F

这是我的个人博客，主要记录： Learning：主要是在计算机、人工智能、数学相关方面的学习，也会掺杂一些其它的领域； Reading：读书摘录，可能会有一些笔记； Diary：不定期复盘总结； Others：一些杂谈。 1print("Welcome")