最近,笔者在研究一个有关“自然语言处理”的项目,在这个项目中,需要我们用Spark进行编程。而Spark内核是由Scala语言开发的,所以在使用Spark之前,我们必须配置好Scala,而Scala又是运行在JVM上的,所以在配置Scala之前,先要配置好JDK。下面是我个人的一些总结。
我是在Win7系统下开的虚拟机,虚拟机的系统是CentOS7,在创建虚拟机完成后,它会自带一个OpenJDK,我的版本是这样的:
但是因为最开始不了解这个情况,所以我从官网上下载了jdk-8u73-linux-x64.tar.gz,并解压在/Downloads目录下。进入/etc/profile.d目录下,新建path.sh脚本文件,打开并配置环境变量如下图:
在/etc/profile.d目录下,键入source path.sh命令,使配置生效。
然而配置成功后,在控制台中键入Java -version,依然会得到第一张图中的信息,后来发现在配置JDK之前,需要卸载系统自带的JDK。
在控制台中键入java,会出现如下图所示的内容:
但是不知道这些,只知道Java开发环境已经配置完毕,所以便开始找对应版本的Scala,我下载的是scala-2.10.5.tgz,并解压在/Downloads目录下。进入/etc/profile.d目录下,打开path.sh文件,配置Scala环境变量,如下图所示:
在/etc/profile.d目录下,键入source path.sh命令,使配置生效。
在控制台中键入scala -version和scala,会分别得到如下两张图中的内容:
至此,Java和Scala环境配置完毕!
本文由笔者亲自编写,不包含任何抄袭成分,如有朋友需要转载、引用,请注明作者。
技术博文将做持续修改,欢迎各位大神留言指教!
使用IntelliJ IDEA编写Scala在Spark中运行 http://www.linuxidc.com/Linux/2015-08/122283.htm
Scala编程完整中文版 PDF http://www.linuxidc.com/Linux/2015-08/121033.htm
快学Scala (中文完整扫描版) PDF http://www.linuxidc.com/Linux/2015-08/120950.htm
Ubuntu 安装 2.10.x版本的Scala http://www.linuxidc.com/Linux/2015-04/116455.htm
Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark简介及其在Ubuntu下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安装Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
Scala 的详细介绍:请点这里
Scala 的下载地址:请点这里
本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-04/130091.htm