Barra de progreso de Pyspark Fix / Retire Console -- apache-spark campo con console camp Relacionados El problema

PySpark fix/remove console progress bar


6
vote

problema

Español

Como se puede ver a continuación, la barra de progreso de la salida de la consola de chispa está arruinando las salidas. ¿Hay alguna configuración o bandera que pueda usarse para desactivar la barra de progreso del escenario? O mejor, ¿cómo fijo el registro de la consola para que la barra de progreso desaparezca después de que las etapas hayan terminado? Esto puede ser un error para Pyspark, pero no estoy seguro.

  (CID, (v1 / n1, v2 / n2)) [Stage 46:============================================>           (19 + 4) / 24]('1', (0.020000000000000035, 4.805)) ('5', (6.301249999999998, 0.125)) ('10', (21.78000000000001, 3.125)) ('7', (0.005000000000000009, 0.6049999999999996))  (CID, sqrt(v1 / n1 + v2 / n2)) ('1', 2.19658826364888) ('5', 2.5350049309616733) ('10', 4.990490957811667) ('7', 0.7810249675906652)  (CID, (AD_MEAN, NCI_MEAN)) ('7', (1.0, 5.5)) ('5', (7.75, 5.3)) ('10', (13.5, 6.0)) ('1', (3.0, 5.0))  (CID, (AD_MEAN - NCI_MEAN)) ('7', -4.5) ('5', 2.45) ('1', -2.0) ('10', 7.5)  (CID, (NUMER, DENOM)) [Stage 100:===================================================>   (30 + 2) / 32]('10', (7.5, 4.990490957811667)) ('5', (2.45, 2.5350049309616733)) ('7', (-4.5, 0.7810249675906652)) ('1', (-2.0, 2.19658826364888))   

se pone aún peor a veces (desplácese hacia la derecha):

  $ spark-submit main.py  17/04/28 11:36:23 WARN Utils: Your hostname, Pandora resolves to a loopback address: 127.0.1.1; using 146.95.36.193 instead (on interface wlp3s0) 17/04/28 11:36:23 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 17/04/28 11:36:24 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [Stage 0:>                                                          (0 + 2                                                                          [Stage 32:=============================>                            (4 + 4[Stage 37:>                                                         (0 + 0[Stage 35:=====>           (4 + 2) / 12][Stage 37:>                 (0 + 0[Stage 35:===========>     (8 + 4) / 12][Stage 37:>                 (0 + 0[Stage 37:=======>                                                  (1 + 3[Stage 37:=============================>                            (4 + 0[Stage 36:========>       (13 + 4) / 24][Stage 37:=========>        (4 + 0[Stage 36:==============> (21 + 3) / 24][Stage 37:=========>        (4 + 1[Stage 37:====================================>                     (5 + 3[Stage 38:===================================>                    (20 + 4)[Stage 38:====================================================>   (30 + 2)                                                                          SORTED (t-value, CID) [(-5.761659596980321, '7'), (-0.9105029072119708, '1'), (0.9664675480810896, '5'), (1.5028581483070664, '10')]   
Original en ingles

As can be seen below, the Spark console output progress bar is messing up the outputs. Is there a configuration or flag that can be used to turn off the stage progress bar? Or better, how do I fix the console log so that the progress-bar disappears after the stages are finished? This may just be a bug for PySpark, but I'm not sure.

(CID, (v1 / n1, v2 / n2)) [Stage 46:============================================>           (19 + 4) / 24]('1', (0.020000000000000035, 4.805)) ('5', (6.301249999999998, 0.125)) ('10', (21.78000000000001, 3.125)) ('7', (0.005000000000000009, 0.6049999999999996))  (CID, sqrt(v1 / n1 + v2 / n2)) ('1', 2.19658826364888) ('5', 2.5350049309616733) ('10', 4.990490957811667) ('7', 0.7810249675906652)  (CID, (AD_MEAN, NCI_MEAN)) ('7', (1.0, 5.5)) ('5', (7.75, 5.3)) ('10', (13.5, 6.0)) ('1', (3.0, 5.0))  (CID, (AD_MEAN - NCI_MEAN)) ('7', -4.5) ('5', 2.45) ('1', -2.0) ('10', 7.5)  (CID, (NUMER, DENOM)) [Stage 100:===================================================>   (30 + 2) / 32]('10', (7.5, 4.990490957811667)) ('5', (2.45, 2.5350049309616733)) ('7', (-4.5, 0.7810249675906652)) ('1', (-2.0, 2.19658826364888)) 

It gets even worse sometimes (scroll to the right):

$ spark-submit main.py  17/04/28 11:36:23 WARN Utils: Your hostname, Pandora resolves to a loopback address: 127.0.1.1; using 146.95.36.193 instead (on interface wlp3s0) 17/04/28 11:36:23 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 17/04/28 11:36:24 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [Stage 0:>                                                          (0 + 2                                                                          [Stage 32:=============================>                            (4 + 4[Stage 37:>                                                         (0 + 0[Stage 35:=====>           (4 + 2) / 12][Stage 37:>                 (0 + 0[Stage 35:===========>     (8 + 4) / 12][Stage 37:>                 (0 + 0[Stage 37:=======>                                                  (1 + 3[Stage 37:=============================>                            (4 + 0[Stage 36:========>       (13 + 4) / 24][Stage 37:=========>        (4 + 0[Stage 36:==============> (21 + 3) / 24][Stage 37:=========>        (4 + 1[Stage 37:====================================>                     (5 + 3[Stage 38:===================================>                    (20 + 4)[Stage 38:====================================================>   (30 + 2)                                                                          SORTED (t-value, CID) [(-5.761659596980321, '7'), (-0.9105029072119708, '1'), (0.9664675480810896, '5'), (1.5028581483070664, '10')] 
     

Lista de respuestas

7
 
vote
vote
La mejor respuesta
 

Podría deshabilitar la configuración

  • spark.ui.showConsoleProgress = falso

o

  • disminuir el nivel de registro en log4j.properties superior a INFO , es decir, a ERROR

Spark Jiras relevante:

  • https://jira.apache.org/jira/browse/spark-4017
  • https://sisues.apache.org/jira/browse/spark-18719

spark.ui.showConsoleProgress fue siempre en Spark, ya que la versión 1.2, pero se documentará solo en Spark 2.2.

Código de ejemplo:

  spark.conf.set('spark.ui.showConsoleProgress', False)   
 

You could either disable by setting

  • spark.ui.showConsoleProgress = False

or

  • decrease logging level in log4j.properties higher than INFO, i.e. to ERROR

Relevant Spark jiras:

  • https://issues.apache.org/jira/browse/SPARK-4017
  • https://issues.apache.org/jira/browse/SPARK-18719

spark.ui.showConsoleProgress was always in Spark, since version 1.2, but will be documented only in Spark 2.2.

Example code:

spark.conf.set('spark.ui.showConsoleProgress', False) 
 
 
   
   
3
 
vote

La respuesta de Tagar no funcionó para mí en Pyspark.

Aquí está la solución alternativa que encontré para eliminar las barras de progreso de la consola:

  from pyspark import SparkContext, SparkConf from pyspark.sql.session import SparkSession   conf = SparkConf().set("spark.ui.showConsoleProgress", "false") sc = SparkContext(appName="RandomForest", conf=conf) spark = SparkSession(sc)   

espero que esto ayude!

 

The answer of Tagar didn't work for me in pyspark.

Here is the workaround I found to remove progress bars from the console:

from pyspark import SparkContext, SparkConf from pyspark.sql.session import SparkSession   conf = SparkConf().set("spark.ui.showConsoleProgress", "false") sc = SparkContext(appName="RandomForest", conf=conf) spark = SparkSession(sc) 

Hope this helps!

 
 
0
 
vote

Aquí es cómo lo haría usando el constructor de Sparksession en Pyspark 2.4.x

  spark = SparkSession     .builder.master('local')      .appName('MySparkApplication')      .config('spark.ui.showConsoleProgress', 'false')  # <=====     .getOrCreate()   
 

Here is how you would do it using the SparkSession builder in pyspark 2.4.x

spark = SparkSession     .builder.master('local') \     .appName('MySparkApplication') \     .config('spark.ui.showConsoleProgress', 'false') \ # <=====     .getOrCreate() 
 
 

Relacionados problema

0  Llama lote con param  ( Call batch with param ) 
¿Cómo ejecutar el comando de llamada con param? Quiero hacer algo como esto: call "C:Program Files (x86)Microsoft Visual Studio 11.0VCvcvarsall.bat" x86 ...

104  ¿Qué es un buen java, cursas, biblioteca para aplicaciones de terminales? [cerrado]  ( Whats a good java curses like library for terminal applications ) 
cerrado. Esta pregunta no cumple con pautas de desbordamiento de pila . Actualmente no está aceptando respuestas. ...

-2  ¿Cómo puede agregar una entrada de clases?  ( How can add an another input from classes ) 
Hola tengo un pequeño problema. Hago algunas clases y hice heredarlas y ahora necesito saber cómo agregar otro valor en el mismo método. Necesidad de tener 2 ...

15  Lectura Unicode de la consola  ( Reading unicode from console ) 
Estoy tratando de leer una cadena de Unicode de una consola en C #, por el bien del ejemplo, permite utilizar su uno: c: svn d³ebugger src виталик pro...

990  ¿Cómo puedo obtener la ruta de la aplicación en una aplicación de consola .NET?  ( How can i get the applications path in a net console application ) 
¿Cómo encuentro la ruta de la aplicación en una aplicación de consola? en Formularios de Windows , puedo usar Application.StartupPath6 para encontrar el ...

3  ¿Cómo puedo asegurar la atomicidad de una operación de obtención y configuración para redirigir la consola de la consola de registro?  ( How can i ensure atomicity of a get and set operation to redirect console out fo ) 
Necesito interceptar la (s) transmisión (s) de salida de la consola para capturarlo para obtener un registro, pero aún así pasar las cosas a la corriente orig...

3  Cómo imprimir a la consola (terminal) dentro de una llamada del sistema  ( How to print to console terminal inside a system call ) 
¿Cómo puedo imprimir algo (para el propósito de depuración) para consolar dentro de una llamada del sistema Linux? ¿O hay alguna forma no difundida de depur...

-1  Programa Java que no funciona  ( Java program not running ) 
Hice un programa de factorización con Java. Tengo un proyecto en Eclipse con 2 paquetes. Uno tiene una sola clase, la que tengo problemas con el que tengo pro...

93  CHROME JavaScript Developer Console: ¿Es posible llamar a Console.log () sin una nueva línea?  ( Chrome javascript developer console is it possible to call console log withou ) 
Me gustaría usar Console.log () para registrar los mensajes sin anexar una nueva línea después de cada llamada a Console.log (). ¿Esto es posible? ...

7  Coloque una pequeña ventana de consola a la parte inferior izquierda de la pantalla?  ( Position a small console window to the bottom left of the screen ) 
Como dice el título, quiero colocarlo en la esquina inferior izquierda de la pantalla. Aquí está el código que tengo hasta ahora: Console.WindowWidth =...




© 2022 respuesta.top Reservados todos los derechos. Centro de preguntas y respuestas reservados todos los derechos