Linux上安装pyspark

最后更新: 2025-01-01

字数统计: 339字 | 阅读时长≈ 1分

1
2
3

//先将文件下载到Windows上，再使用ssh工具连接虚拟机，并将这三个文件上传到虚拟机，不要使用wmware-tool将文件直接拖进虚拟机，这样可能会有部分文件没有被下载，文件地址：
链接：https://pan.baidu.com/s/1-m4-SX0BuW20qmfusrfkHw 
提取码：left

mkdir /opt/jdk
mkdir /opt/apache-spark
tar xvzf jdk-8u251-linux-x64.tar.gz -C /opt/jdk
    
 vim ~/.bashrc 
 //添加下面两行
export JAVA_HOME=/opt/jdk/jdk1.8.0_251/jre
export PATH=$PATH:$JAVA_HOME/bin
    
source ~/.bashrc
java -version

tar -zxvf spark-2.3.4-bin-hadoop2.7.tgz -C /opt/apache-spark/
 vim ~/.bashrc 
//修改成这三行
export JAVA_HOME=/opt/jdk/jdk1.8.0_251/jre
export SPARK_HOME=/opt/apache-spark/spark-2.3.4-bin-hadoop2.7
export PATH=$PATH:$JAVA_HOME/bin:$SPARK_HOME/bin
//使刚刚修改的配置文件生效
source ~/.bashrc
//测试有没有安装成功spark
spark-shell

1
2
3

mkdir /opt/python3
tar -zxvf Python-3.6.5.tgz -C /opt/python3/
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc

安装完了会出现如图所示的complete

cd /opt/python3/Python-3.6.5
./configure --prefix=/usr/local/python3
//等待一小会
make && makeinstall
//等待几分钟，出现下图

//建立软链接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
 //输入python3，出现下图所示


vim ~/.bashrc  
//添加下面这一行，如下图所示
export PYSPARK_PYTHON=python3
//使配置生效
source ~/.bashrc

1 2	`pyspark //出现下图所示`

动动小手，点个赞！

本文作者： leftover
版权声明： 本文版权归leftover所有,如需转载清标明来源！