Spark任务执行流程
这是Spark官方给的图，大致意思就是：
1.构建DAG（有向无环图）（调用RDD上的方法）
2.DAGScheduler将DAG切分Stage（切分的依据是Shuffle），将Stage中生成的Task以TaskSet的形式给TaskScheduler
3.TaskScheduler调度Task（根据资源情况将Task调度到相应的Executor中）
如有侵权请及时联系我们处理，转载请注明出处来自
随机推荐
科技快讯 |备案号：( 沪ICP备2026008940号-1 )
