Nu se poate conecta la Spark clusterului programatic, dar scânteie-coajă poate?

voturi
1

Sunt rulează o aplicație și am probleme la conectarea la Spark. Iată codul relevant:

System.setProperty(spark.akka.frameSize, 200)
System.setProperty(spark.akka.timeout, 100)
System.setProperty(spark.default.parallelism, 288)
var sparkmaster = spark://1.17.8.5:7098
var sc = new SparkContext(sparkmaster, tool, /opt/spark)

Ieșirea relevantă este:

13/08/14 17:15:30 INFO storage.BlockManagerUI: Started BlockManager web UI at ----
13/08/14 17:15:30 INFO spark.SparkContext: Added JAR target/scala-2.9.1/pivot-spark_2.9.1-1.0.jar at http://1.17.8.5:50262/jars/tool_2.9.1-1.0.jar with timestamp 1376500530641
13/08/14 17:15:30 INFO cluster.FairSchedulableBuilder: Create default pool with name:default,schedulingMode:FIFO,minShare:2,weight:1
13/08/14 17:15:30 INFO client.Client$ClientActor: Connecting to master spark://1.17.8.5:7098

După cum se poate vedea că nu se conectează efectiv lucrătorilor. Cu toate acestea, dacă am alerga spark-shellîn terminal, I a lua:

13/08/14 17:25:53 INFO BlockManagerUI: Started BlockManager web UI at ---
13/08/14 17:25:53 INFO Client$ClientActor: Connecting to master spark://1.17.8.5:7098
Spark context available as sc.
13/08/14 17:25:53 INFO SparkDeploySchedulerBackend: Connected to Spark cluster with app ID app-20130814172553-0029
13/08/14 17:25:53 INFO Client$ClientActor: Executor added: app-20130814172553-0029/0 on worker-20130808012122----42908 with 4 cores
13/08/14 17:25:53 INFO SparkDeploySchedulerBackend: Granted executor ID app-20130814172553-0029/0 on host --- with 4 cores, 8.0 GB RAM
13/08/14 17:25:53 INFO Client$ClientActor: Executor added: app-20130814172553-0029/1 on worker-20130808012122-----59902 --- with 4 cores
...etc

Care este problema aici?

Întrebat 14/08/2013 la 16:36
sursa de către utilizator
În alte limbi...                            


1 răspunsuri

voturi
0

Hopa! Se pare că am nevoie pentru a seta o variabilă de mediu , $SPARK_HOMEcare spark-shellpărea să fie în mod automat setarea.

Publicat 19/09/2013 la 02:08
sursa de către utilizator

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more