admin管理员组

文章数量:1130349

       今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得: new sparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。SparkContext 允许driver 应用程序通过资源管理器访问集群，这个资源管理器可以是yarn，mesos，或者是spark集群管理器。sparkContext具体干哪些活呢？细节可以说比较复杂的，我们这里只抽取最重要的几点进行讲解。

       主体流程图如下：



   下面我们一一来讲解：

  1. 加载配置文件SparkConf，创建SparkEnv

  2. 创建TaskScheduler

  3. 创建DAGScheduler

  4. 创建SparkUI

   


 1.加载配置文件SparkConf，创建SparkEnv

     这个很好理解，我们需要在程序指定像master地址，appName,,,,,,,这是初始化sparkContext的时候要加载配置文件或者相关配置参数，准备好spark环境，我们可以看下sparkContext的源码：

       今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得: new sparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。SparkContext 允许driver 应用程序通过资源管理器访问集群，这个资源管理器可以是yarn，mesos，或者是spark集群管理器。sparkContext具体干哪些活呢？细节可以说比较复杂的，我们这里只抽取最重要的几点进行讲解。

       主体流程图如下：



   下面我们一一来讲解：

  1. 加载配置文件SparkConf，创建SparkEnv

  2. 创建TaskScheduler

  3. 创建DAGScheduler

  4. 创建SparkUI

   


 1.加载配置文件SparkConf，创建SparkEnv

     这个很好理解，我们需要在程序指定像master地址，appName,,,,,,,这是初始化sparkContext的时候要加载配置文件或者相关配置参数，准备好spark环境，我们可以看下sparkContext的源码：

本文标签： 入口程序sparkSparkContext

版权声明：本文标题：Spark程序的入口之SparkContext 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754846569a2732583.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。