Stage的Task的数量由什么决定（）。

[单选题]

Stage 的 Task 的数量由什么决定（）。

```
Partition
```
```
Job
```
```
Stage
```
```
TaskScheduler
```

查看答案及解析

啥时候能拿到offer

1. 什么是job
Job简单讲就是提交给spark的任务。

2. 什么是stage
Stage是每一个job处理过程要分为的几个阶段。

3. 什么是task
Task是每一个job处理过程要分为几次任务。Task是任务运行的最小单位。最终是要以task为单位运行在executor中。

4. Job和stage和task之间有什么关系

Job----> 一个或多个stage---> 一个或多个task

5.Stage 的 Task 的数量由什么决定

是由输入文件的切片(partition)个数来决定的。在HDFS中不大于128m的文件算一个切片（默认128m）。通过算子修改了某一个rdd的分区数量，task数量也会同步修改。

发表于 2021-11-02 09:27:47 回复(0)