idea运行远端spark报错

BangLiSang

代码应该没有问题，在本地模式正常运行，就是把ip地址改为远端linux就会报错，idea和spark日志的报错内容如下

[Scala] 纯文本查看 复制代码

import org.apache.spark.{SparkConf, SparkContext}

/**
 * Created by yangyibo on 16/11/21.
 */
object MySpark {

  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("mySpark")
    //setMaster("local") 本机的spark就用local，远端的就写ip
    //如果是打成jar包运行则需要去掉 setMaster("local")因为在参数中会指定。
    conf.setMaster("spark://192.168.2.162:7077")
//    conf.setMaster("local")
    val sc =new SparkContext(conf)
    val rdd =sc.parallelize(List(1,2,3,4,5,6)).map(_*3)
    val mappedRDD=rdd.filter(_>10).collect()
    //对集合求和
    println(rdd.reduce(_+_))
    //输出大于10的元素
    for(arg <- mappedRDD)
      print(arg+" ")
    println()
    println("math is work")
  }
}

jongbaker

你是在写demo,还是开发，实际中本地测试用local, 项目用yarn;  standaone的这种模式是真的基本不用了（也就真的不用纠结了）

ljhtoljh

打成jar包spark-submit提交，如果要这样提交参考下apache-livy项目。