Centos 7.4 安装单机版 Spark

拾贰 2019-08-21 AM 2357℃ 5条

u=370960796,3925594138&fm=26&gp=0.jpg

前言

由于个人学习需要,所以来研究一下怎么安装 Spark,但是由于个人的经济资源有限,所以还没有上集群,这里先试一下单机版的 Spark。后期有扩展的话,同步更新集群安装教程。

以下一切操作都基于 root 用户。

0. 安装 Scala

0.1 安装前

在安装 Spark 之前需要先安装一下 Scala,因为 Spark 依赖于 Scala。所以我们先安装一下 Scala,先到Scala官网上下载一下 Scala 的压缩包。

然后我们将压缩包上传到 Centos 服务器上,怎么上传这里就不做细说。
我们将压缩包放到 /opt/scala 目录下,然后将其解压。

解压命令

tar -xvf scala-2.12.2.tgz

0.2 配置环境变量

/etc/profile 中添加环境变量,添加 export SCALA_HOME=/opt/scala/scala-2.12.2 并在 path 中加入 ${SCALA_HOME}/bin:

下面是我的环境变量。

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

然后我们可以验证一下 scala:

到这里 scala 安装就完成了,接下来就是 Spark 的安装啦~~~

1. 安装 Spark

1.1 下载以及解压

Scala 相同我们先去逛网下载一下包,然后上传到服务器。

同理,我们将压缩包放到 /opt/spark 目录下,然后将其解压。

解压命令

tar -xvf spark-2.4.3-bin-hadoop2.7.tgz

1.2 配置环境变量

大同小异,在 /etc/profile 中添加环境变量,添加 export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7 并在 path 中加入 ${SPARK_HOME}/bin:

下面是我的环境变量。

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH

1.3 配置 Spark

首先进入到解压文件的 conf 目录下,也就是是 /opt/spark/spark-2.4.3-bin-hadoop2.7/conf/,我们可以看到有一个模板文件,我们 copy 一份。

cp spark-env.sh.template spark-env.sh

我们对拷贝的文件进行编辑,加入以下内容:

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export SPARK_MASTER_IP=learn
export SPARK_EXECUTOR_MEMORY=1G

同样我们拷贝一份 slaves

cp slaves.template slaves

编辑 slaves,内容为 localhost:

localhost

然后我们可以进行测试,/opt/spark/spark-2.4.3-bin-hadoop2.7 在这个目录下执行:

./bin/run-example SparkPi 10

在这我们可以看到已经执行成功。

1.4 启动 Spark Shell

跟上面一样也是在 /opt/spark/spark-2.4.3-bin-hadoop2.7 目录下,执行:

./bin/spark-shell

我们可以看到以下结果:

到这为止,单机版的 Spark 就安装完毕了~~~

拒绝拖延(感谢关注)

公众号:前端讲堂

公众号ID:js-say

标签: 大数据

非特殊说明,本博所有文章均为博主原创。

评论啦~



已有 5 条评论


  1. 爱呼吸
    爱呼吸  Windows 10 x64 Edition Google Chrome 76.0.3809.100

    大哥,博客开源不?

    回复 2019-08-22 14:14
    1. 拾贰
      拾贰  Windows 10 x64 Edition Google Chrome 76.0.3809.100 博主

      博客原码是开源的哦

      回复 2019-08-22 15:25
      1. 小孩
        小孩  Mac OS X 10.14.6 Google Chrome 77.0.3865.90

        源码在哪里哦

        回复 2019-10-13 18:19
  2. s
    s  Windows 10 x64 Edition Google Chrome 76.0.3809.100

    感觉你的评论系统是不是哪里不通啊》一直评论不上。。大兄弟,你这个博客开源没啊?

    回复 2019-08-22 14:18
    1. 拾贰
      拾贰  Windows 10 x64 Edition Google Chrome 76.0.3809.100 博主

      没有评论不上吧

      回复 2019-08-22 15:26