Error al ejecutar el trabajo de chispa en el clúster de hilo - Reintentar con Conectar al servidor -- java campo con apache-spark campo con yarn camp Relacionados El problema

Failed to run Spark job on Yarn cluster - Retrying connect to server


6
vote

problema

Español

Configuré mi clúster de hilo y también mi clúster de chispas en las mismas máquinas, pero ahora necesito ejecutar un trabajo de chispa con hilo usando el modo cliente.

Aquí está mi configuración de muestra para mi trabajo:

  SparkConf sparkConf = new SparkConf(true).setAppName("SparkQueryApp")              .setMaster("yarn-client")// "yarn-cluster" or "yarn-client"              .set("es.nodes", "10.0.0.207")              .set("es.nodes.discovery", "false")              .set("es.cluster", "wp-es-reporting-prod")                   .set("es.scroll.size", "5000")             .setJars(JavaSparkContext.jarOfClass(Demo.class))             .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")             .set("spark.default.parallelism", String.valueOf(cpus * 2))             .set("spark.executor.memory", "10g")             .set("spark.num.executors", "40")             .set("spark.dynamicAllocation.enabled", "true")             .set("spark.dynamicAllocation.minExecutors", "10")             .set("spark.dynamicAllocation.maxExecutors", "50")              .set("spark.logConf", "true");   

Esto no parece funcionar cuando intenté correr mi trabajo de chispa java -jar spark-test-job.jar"

Tengo esta excepción

  405472 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to    server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10,     sleepTime=1 SECONDS) 406473 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to    server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is    RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) ...   

¿Alguna ayuda?

Original en ingles

I setup my yarn cluster and also my spark cluster on the same machines but now I need to run a spark job with yarn using the client mode.

Here is my sample config for my job:

SparkConf sparkConf = new SparkConf(true).setAppName("SparkQueryApp")              .setMaster("yarn-client")// "yarn-cluster" or "yarn-client"              .set("es.nodes", "10.0.0.207")              .set("es.nodes.discovery", "false")              .set("es.cluster", "wp-es-reporting-prod")                   .set("es.scroll.size", "5000")             .setJars(JavaSparkContext.jarOfClass(Demo.class))             .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")             .set("spark.default.parallelism", String.valueOf(cpus * 2))             .set("spark.executor.memory", "10g")             .set("spark.num.executors", "40")             .set("spark.dynamicAllocation.enabled", "true")             .set("spark.dynamicAllocation.minExecutors", "10")             .set("spark.dynamicAllocation.maxExecutors", "50")              .set("spark.logConf", "true"); 

This doesn't seems to work when I tried to run my Spark job java -jar spark-test-job.jar"

I got this exception

405472 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to    server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10,     sleepTime=1 SECONDS) 406473 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to    server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is    RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) ... 

Any help ?

        
         
         

Lista de respuestas


Relacionados problema

0  Estoy recibiendo un error al tratar de usar hadoop y hilo. Asistencia recirida,  ( I am getting an error trying to use hadoop and yarn assistance recquired ) 
primer post! Estoy tratando de ejecutar un programa WordCount usando MapReduce con Hadoop y Hilo y estoy recibiendo este error: excepción en el hilo "princ...

0  Mapreduce trabajo no funcionando  ( Mapreduce job not running ) 
Estoy tratando de ejecutar MapReduce, pero capaz de ejecutar un error por debajo del error 16/04/28 13:17:07 INFO client.RMProxy: Connecting to ResourceMan...

1  Hadoop MAPRR2 TRABAJO NO ACCIÓN  ( Hadoop mapr2 job no action ) 
ayush@ayush-Inspiron-3521:~/apps/h260$ jps 3474 ResourceManager 3603 NodeManager 3316 SecondaryNameNode 3957 Jps 3129 DataNode 2975 NameNode ayush@ayush-In...

5  Kerberos Personación de un contexto de chispa en tiempo de ejecución  ( Kerberos impersonation of a spark context at runtime ) 
Tengo una aplicación de chispa que ejecuta varios trabajos para diferentes usuarios simultáneamente, a través de varias sesiones de chispa en varios hilos. ...

-1  ¿Pueden dos ejecutores / controladores de diferentes aplicaciones SPLP que se ejecutan en el mismo nodo en modo de clúster?  ( Can two executors drivers from different spark applications run on same node i ) 
Leí un artículo en medio que afirma que la cantidad de ejecutores + 1 (para conductor), debe ser un múltiplo de 3, para utilizar de manera eficiente el núcleo...

2  Ejecutores en nodo central en clúster EMR  ( Executors on core node in emr cluster ) 
En el clúster EMR, tengo 1 maestro, 1 nódulo de 1 nódulo y 4 tareas. Parece que el hilo está creando ejecutores de chispa de CPU, no solo en nodos de tarea, s...

0  Hadoop es a veces demasiado lento (pegado al 100%)  ( Hadoop is sometimes too slow stuck at 100 ) 
Configuré un grupo de diez máquinas en las que instalé CDH4 (hilo). Corro el Namenode, el ResourceManger y el HistorialServer en el mismo nodo, y el cliente e...

1  El trabajo de hilo de chispa está atascado en estado aceptado  ( Spark yarn job is stuck in accepted state ) 
Estoy usando Apache Spark (2.4.4) con hilo para una mejor programación de empleo y habilitar múltiples puestos de trabajo concurrentes. Pero mi trabajo es con...

4  Error de permisos básicos en MR2  ( Basic permissions error in mr2 ) 
Una construcción reciente de los ejemplos básicos de MR2 falla, es decir, ejecutando el ejemplo de PI, en un clúster MR2 HDFS de PSUEDO distribuido, con el si...

3  Enviar aplicaciones externamente a través de APIs de descanso  ( Submitting applications externally via rest apis ) 
¿Actualmente hay una manera de enviar las aplicaciones externamente a través de las APIs de descanso suministrados para MapReducev1 y / o hilado? Espero encon...




© 2022 respuesta.top Reservados todos los derechos. Centro de preguntas y respuestas reservados todos los derechos