【Python3实战Spark大数据分析及调度】第5章 Spark运行模式

第五章 Spark运行模式

PySpark实战之运行模式

官方submit文档:Submitting Applications
pyspark 与 spark-submit中的参数列表是一样的


local模式下执行py脚本流程


standalone下提交脚本流程


yarn,不需要启动worker和master
standalone需要启动worker和master


deploy-mode
启动在本地节点 client
启动在集群上worker节点 cluster

Spark的driver运行在application master里面


yarn不能够支持交互式的程序


查看已经运行完的yarn 程序的日志

总结:不管你的spark运行在哪个模式下,spark代码并不需要任何的修改

全部评论

相关推荐

孙艹肘:校招不给三方直接让实习我都去了,,主打一个在学校呆着也是闲着,不如出来实习一下
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务