From f470f32c61c75259a67333bc92d8c0a3d8ae899f Mon Sep 17 00:00:00 2001 From: fxfxfxfxfxfxfxfx <227935476@qq.com> Date: Mon, 26 Aug 2024 12:54:00 +0800 Subject: [PATCH] fxfxfxfxfxfxfx add 2024.07.15~2024.08.11 WeeklyReport --- .../[WeeklyReport]2024.07.15~2024.07.28.md | 27 +++++++++++++++++++ .../[WeeklyReport]2024.07.29~2024.08.11.md | 19 +++++++++++++ 2 files changed, 46 insertions(+) create mode 100644 WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md create mode 100644 WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md new file mode 100644 index 00000000..40efb0ad --- /dev/null +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md @@ -0,0 +1,27 @@ +### 姓名 +冯潇 + +### 实习项目 +动静统一自动并行支持MoE专家并行策略 + +### 本周工作 + +1. **配置开发环境,熟悉Paddle** + * 从源码编译paddle,并熟悉相关代码 + * 编写脚本方便环境重启后上下文的恢复 + + +2. **熟悉自动并行和Moe** + * 熟悉自动并行和MoE相关概念 + * 阅读相关文档,了解其实现方式 + * 跑通相关单元测试 + +3. **熟悉qwen2_moe** + + +### 下周工作 + +1. 将SparseMoEBlock改成自动并行版本并对其编写单元测试 + +### 导师点评 +快速熟悉相关背景和概念后可以开展具体工作 diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md new file mode 100644 index 00000000..ff540040 --- /dev/null +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md @@ -0,0 +1,19 @@ +### 姓名 +冯潇 + +### 实习项目 +动静统一自动并行支持MoE专家并行策略 + +### 本周工作 + +1. 阅读moe自动并行的源码 +2. 跑通单卡版本的SparseMoEBlock代码,作为测试基准 +3. 将SparseMoEBlock 改成自动并行版本 + + +### 下周工作 + +1. 编写SparseMoEBlock自动并行版本的单元测试,测试动态图下 卡数>专家数 和 卡数<专家数的情况 + +### 导师点评 +熟悉了自动并行的概念,正在将模型改造成自动并行版本 \ No newline at end of file