1-map task的并发数量是由切片的数量决定的,有多少个切片就有启动多少个map task;
2-切片是一个逻辑的概念,指的是文件中数据的偏移量范围;
3-切片的具体大小应该根据所处理的文件大小来调整;例如:小文件的切片有多个block组成;
reduce的并发数量由,partition分组决定
本文共 202 字,大约阅读时间需要 1 分钟。
1-map task的并发数量是由切片的数量决定的,有多少个切片就有启动多少个map task;
2-切片是一个逻辑的概念,指的是文件中数据的偏移量范围;
3-切片的具体大小应该根据所处理的文件大小来调整;例如:小文件的切片有多个block组成;
reduce的并发数量由,partition分组决定
转载于:https://www.cnblogs.com/maxigang/p/9791142.html