idea运行远端spark报错
代码应该没有问题，在本地模式正常运行，就是把ip地址改为远端linux就会报错，idea和spark日志的报错内容如下import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by yangyibo on 16/11/21.
*/
object MySpark {
def main(args: Array) {
val conf = new SparkConf().setAppName("mySpark")
//setMaster("local") 本机的spark就用local，远端的就写ip
//如果是打成jar包运行则需要去掉 setMaster("local")因为在参数中会指定。
conf.setMaster("spark://192.168.2.162:7077")
// conf.setMaster("local")
val sc =new SparkContext(conf)
val rdd =sc.parallelize(List(1,2,3,4,5,6)).map(_*3)
val mappedRDD=rdd.filter(_>10).collect()
//对集合求和
println(rdd.reduce(_+_))
//输出大于10的元素
for(arg <- mappedRDD)
print(arg+" ")
println()
println("math is work")
}
}
你是在写demo,还是开发，实际中本地测试用local, 项目用yarn;standaone的这种模式是真的基本不用了（也就真的不用纠结了） 打成jar包spark-submit提交，如果要这样提交参考下apache-livy项目。
页:
[1]