[WeeklyReport] fxfxfxfxfxfxfxfx 2024.07.15~2024.08.11 (#352)

PFCCLab · Aug 26, 2024 · e32ea4f · e32ea4f
1 parent 31b6add
commit e32ea4f
Show file tree

Hide file tree

Showing 2 changed files with 46 additions and 0 deletions.
diff --git a/...s/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md b/...s/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md
@@ -0,0 +1,27 @@
+### 姓名
+冯潇
+
+### 实习项目
+动静统一自动并行支持MoE专家并行策略
+
+### 本周工作
+
+1. **配置开发环境，熟悉Paddle**
+	*  从源码编译paddle，并熟悉相关代码
+	*  编写脚本方便环境重启后上下文的恢复
+
+
+2. **熟悉自动并行和Moe**
+	* 熟悉自动并行和MoE相关概念
+	* 阅读相关文档，了解其实现方式
+	* 跑通相关单元测试
+
+3. **熟悉qwen2_moe**
+
+
+### 下周工作
+
+1. 将SparseMoEBlock改成自动并行版本并对其编写单元测试
+
+### 导师点评
+快速熟悉相关背景和概念后可以开展具体工作
diff --git a/...s/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md b/...s/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md
@@ -0,0 +1,19 @@
+### 姓名
+冯潇
+
+### 实习项目
+动静统一自动并行支持MoE专家并行策略
+
+### 本周工作
+
+1. 阅读moe自动并行的源码
+2. 跑通单卡版本的SparseMoEBlock代码，作为测试基准
+3. 将SparseMoEBlock 改成自动并行版本
+
+
+### 下周工作
+
+1. 编写SparseMoEBlock自动并行版本的单元测试，测试动态图下 卡数>专家数 和 卡数<专家数的情况
+
+### 导师点评
+熟悉了自动并行的概念，正在将模型改造成自动并行版本