Blog 📝
大模型并行策略的通信开销分析
随着大模型（Large Language Model，LLM）规模的不断增大，模型参数数量和计算量也在不断增加，这使得模型的训练和推理变得越来越困难。为了应对这一挑战，研究人员提出了多种并行策略，包括数据并行（Data Parallelism，DP）、张量并行（Tensor Parallelism，TP）、流水线并行（Pipeline Parallelism，PP）、专家并行（Expert Parallelism，EP）和序列并行（Sequence Parallelism，SP）。本文将深入图解并给出这些并行策略的定量分析。
October 10, 2025 Last modified on October 11, 2025
Serving Large Language Models on Huawei CloudMatrix384
华为超节点（CloudMatrix384）是华为在 2025 年发布的一种突破了冯·诺伊曼体系结构，将各类异构资源通过 UB（Unified Bus，统一总线）整合而成的超大规模计算节点，专为 LLM（Large Language Model，大语言模型）服务而设计。在此基础上，华为还提出了 CloudMatrix-Infer 推理系统，提出了 PDC（Prefill-Decode-Cache）分离架构、LEP（Large Expert Parallel，大规模专家并行）等创新技术，为大语言模型的高效推理提供了强大支持。
October 3, 2025 Last modified on October 6, 2025
挑战 2025 年高考数学新课标 I 卷压轴大题
2025 年高考已落下帷幕。今年考生普遍反映试题的基础部分非常基础，而压轴题的有一定的区分度。我体验之后发现，今年的压轴题出得很有水平，尽管计算量相较于往年很小，但是对数学逻辑思维的考察在一个很高的维度。
June 9, 2025 Last modified on June 28, 2025
挑战 2023 年高考全国乙卷数学压轴大题
2023 年高考已落下帷幕，不少考生反映今年的试题相较过去几年要容易一些。按照惯例，我继续尝试一下今年全国乙卷数学的最后两道大题。
June 14, 2023 Last modified on June 16, 2025
挑战 2022 年高考全国乙卷数学压轴大题
2022 年高考已落下帷幕，不少考生表示今年的数学是“历史第二难”。于是，我打算尝试一下今年全国乙卷数学的最后两道大题，切身体会一下今年学子们的不易。
June 15, 2022 Last modified on June 16, 2025
破解 Synthesia
Synthesia1 是一款钢琴瀑布流可视化程序。通过逆向技术绕开程序的注册判断即可破解2。
May 15, 2025 Last modified on May 21, 2025
为什么会有人说辩证法是错误的？
其实我们很多中国人没有真正理解辩证法。 辩证法中指出万事万物皆有矛盾，这是矛盾的普遍性。这个是很好理解的。 而矛盾中对立的两方面既具有同一性又具有斗争性。要知道这里同一性为什么表述在前，是因为矛盾没有同一性就没有斗争性。 我们很多中国人恰恰就是在理解辩证法时，不理解乃至跳过了对同一性这一点的认识。没有同一性为前提，矛盾就没有斗争性。只承认矛盾的斗争性而否认矛盾的同一性恰恰就是毛主席在《矛盾论》中强烈批判的。
May 15, 2025 Last modified on May 15, 2025
论男女两性的解放
目前的中国社会，男女两性的性别矛盾在网络上日益突出。但是，作为无产阶级的我们必须要明白，当今社会种种矛盾背后的根源到底是什么？难道真的只是性别矛盾本身吗？如果我们把握不住基本矛盾，抓不住主要矛盾，就很容易陷入到纯粹的男女两性性别对立的陷阱之中，这完全就是上了资产阶级的当——不仅解决不了问题，还会导致无产阶级的内斗。 资产阶级控制大众舆论，制造和煽动男女两性对立的言论。所谓的“女权”、“女性独立”、“小仙女”、“直男”等词语被资本异化，消费主义的错误思潮正在广大青年当中蔓延。网络短视频“毒鸡汤”横行，严重侵蚀当代年轻人的思想和价值观，危害社会和谐稳定。因此，笔者认为有必要撰写此文，在马克思主义的指导下，系统论述关于男女两性解放的问题。 男女两性的性别矛盾的问题由来已久，因此我们必须要从人类社会历史当中进行探究。本文首先从阶级产生以前的各类原始社会开始，探究男女两性的矛盾从何而来。接下来，本文继续探究阶级产生以后的各个社会形态，挖掘男女两性矛盾的根源与私有制和父权制的关系。紧接着，本文介绍了国际社会主义运动中的妇女解放运动，分析无产阶级的阶级斗争和妇女解放斗争之间密不可分的关系。 在总结完人类社会历史后，本文还将深入分析当下的中国社会存在的男女两性矛盾对立的表现和根源，勾勒共产主义社会中男女两性关系的宏伟蓝图。最后，本文指出，男女两性要想实现真正的、彻底的解放，必须消灭私有制、父权制。男女两性的解放是全人类解放的一部分，也是实现共产主义的必然要求。
September 29, 2023 Last modified on August 21, 2024