spark程序如何被外部程序调用,并在yarn平台上运行?
发布网友
发布时间：16小时前
共1个回答
热心网友
时间：15小时前
将Spark计算功能封装为jar，以便外部java程序调用，而非直接使用spark-submit运行计算，具体步骤如下：
首先设置环境变量SPARK_HOME，确保可以访问到Spark安装路径。
将SPARK_HOME下的conf目录及lib/spark-assembly.jar文件，连同你的计算功能jar文件加入到classpath中。
在SPARK_HOME的conf目录下，配置与Yarn相关的文件。
在Spark context中设置master为"yarn-client"，指定jarOfClass为执行具体计算的jar文件，并对其他配置进行调整。
外部java程序初始化Spark context，调用其中各种功能以执行计算。
spark-submit与外部java程序实现相似，通过解析参数如--num-executors，来设置Spark配置，最终调用程序的main方法。
