From 42193024614f38e4e9ef572c6b7073539f582025 Mon Sep 17 00:00:00 2001 From: jaden Date: Tue, 2 Apr 2024 14:08:24 +0800 Subject: [PATCH] fixed typo. --- markdown/4-shuffleDetails.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/markdown/4-shuffleDetails.md b/markdown/4-shuffleDetails.md index 552452a..0573f3b 100644 --- a/markdown/4-shuffleDetails.md +++ b/markdown/4-shuffleDetails.md @@ -84,7 +84,7 @@ MapReduce 可以在 process 函数里面可以定义任何数据结构，也可 ![shuffle-reduce](PNGfigures/reduceByKeyRecord.png) -可以看到，fetch 来的 records 被逐个 aggreagte 到 HashMap 中，等到所有 records 都进入 HashMap，就得到最后的处理结果。唯一要求是 func 必须是 commulative 的（参见上面的 Spark 的 reduce() 的代码）。 +可以看到，fetch 来的 records 被逐个 aggregate 到 HashMap 中，等到所有 records 都进入 HashMap，就得到最后的处理结果。唯一要求是 func 必须是 commulative 的（参见上面的 Spark 的 reduce() 的代码）。 ShuffledRDD 到 MapPartitionsRDD 使用的是 mapPartitionsWithContext 操作。