Cómo aumentar el número Maxium de tenedores en Ubuntu 16.04 [Duplicar] -- bash campo con docker campo con sh campo con nohup camp askubuntu Relacionados El problema

How to increase maxium number of forks in Ubuntu 16.04 [duplicate]


1
vote

problema

Español
Esta pregunta ya tiene una respuesta aquí :
Bash Fork: Reintentar: Recurso no disponible temporalmente (1 respuesta)
CERRADO hace 3 años .

Estoy intentando girar 1000x contenedores de Docker a través de:

  nohup docker run --rm --name n-$1-$2 n-v2 bash -c "/root/sw/run.sh $1 $2" 2> ~/logs/log-$1-$2.log &   

Pero después de unos 500x contenedores empiezo a obtener el siguiente error:

  fork: retry: No child processes   

El servidor en el que estoy ejecutando esto tiene 48x núcleos y 192 GB de RAM ... Debería poder pasar varios miles de estos contenedores sin ningún problema ... ¿Hay alguna manera de aumentar este límite?

Después de hacer un poco de Google, encontré que puedo verificar el número de Forks Max a través de ulimit -u ... ¿Hay alguna manera de cambiar esto?

abcdefghijklmnSoren A 's Respuesta Parece legítimo, sin embargo, no parece que esto resolvió el problema. Puedo llegar a ~ 12287 hilos (checed a través de cat /sys/fs/cgroup/pids/user.slice/user-1000.slice/pids.current ) Antes de comenzar a golpear el mismo problema ... Mis límites duros y suaves en abcdefghijklmnABCDEFGHIJKLMN5 están configurados en ABCDEFGHIJKLMNABCDEFGHIJKLMN6 Sin embargo, todavía estoy cerrado alrededor de 12287

Original en ingles

I am attempting to spin up 1000x Docker containers via:

nohup docker run --rm --name n-$1-$2 n-v2 bash -c "/root/sw/run.sh $1 $2" 2> ~/logs/log-$1-$2.log & 

But after about 500x containers I start getting the following error:

fork: retry: No child processes 

The server I am running this on has 48x cores and 192 GB of ram ... I should be able to spin up several thousand of these containers with no problem ... is there a way to increase this limit?

After doing some googling I found that I can check the number of max forks via ulimit -u ... is there a way to change this?

Soren A's answer seems legit, however it doesnt seem like this solved the issue. I can get to ~12287 threads (checed via cat /sys/fs/cgroup/pids/user.slice/user-1000.slice/pids.current) before I start hitting the same issue ... both my hard and soft limits in /etc/security/limits.conf are set to 99999999 yet I am still being capped at around 12287

           
       
       

Lista de respuestas

1
 
vote
vote
La mejor respuesta
 

Puede establecer los valores temporales con ulimit -u <value> O permanentemente en /etc/security/limits.conf con líneas como

  *    hard    nproc  64000 *    soft    nproc  64000   

o lo mismo en un archivo confesional en /etc/security/limits.d, ex. /etc/security/limits.d/90-nproc.conf si lo desea.

En lugar de configurarlo para todos los usuarios (*), puede hacerlo solo para que el usuario inicie sus procesos, para que otros usuarios no puedan tomar muchos recursos en su sistema.

 

You can set the values temporary with ulimit -u <value> Or permanently in /etc/security/limits.conf with lines like

*    hard    nproc  64000 *    soft    nproc  64000 

Or the same in a ,conf file in /etc/security/limits.d, ex. /etc/security/limits.d/90-nproc.conf if you like.

Instead of setting it for all users (*) you could do it only for the user starting your processes, so that other users can't grab that many resources on your system.

 
 
       
       

Relacionados problema

0  Ejecute un comando cuando una carpeta específica esté vacía  ( Run a command when a specific folder is empty ) 
Tengo un script de Python que se ejecuta que se bucle a través de un archivo de carpetas (haga algún trabajo, luego elimine los archivos allí), la carpeta fin...

2  ¿Dónde puedo obtener NOHUP.OUT, si la secuencia de comandos se inicia al inicio?  ( Where can i get nohup out if script starts at startup ) 
test.sh in / root / carpeta #!/bin/bash echo "Hello" #Sample Code ahora en la misma carpeta (/ root / carpeta). He creado nohup_test.sh #!/bin/bash ...

0  usuarios y nohup  ( Users and nohup ) 
¿Cómo puedo saber si hay procesos que se ejecutan en un sistema propiedad de usuarios no del sistema? Pensé en Usuarios El comando de utilidad hizo el tru...

1  Use "NOHUP &" SIEMPRE obtenga [1] + Salir 1 después de entrar  ( Use nohup always get 1 exit 1 after enter ) 
Hola, estoy usando ABCDEFGHIJKLMNABCDEFGHIJKLMN6 recientemente. Mi problema es: Cuando llegué a ingrese , mostrará [1]+ Exit 1 . y no puedo termina...

4  Ejecutando una aplicación gráfica a través de SSH y manteniéndola con vida  ( Running a graphical application through ssh and keeping it alive ) 
Quiero ejecutar una aplicación GUI de un cliente remoto a través de SSH y mantenerlo vivo (y finalmente volver a conectarlo) después de que la conexión esté c...

4  ¿Cómo ejecutar un script NOHUP con UPSTART?  ( How to run a nohup script with upstart ) 
Estoy transmitiendo algunos scripts de servicio de estilo SYSV para hbase (un servicio de Java) a upstart. < / p> Los scripts de SYSV no llaman java dire...

51  Diferencias entre "<Command> & Deswown" y "NOHUP <Command> & Rame"  ( Differences between command disown and nohup command disown ) 
Esta es mi comprensión sobre el uso de & , disown y abcdefhijklmnabcdefghijklmn2 : <command> : Ejecuta el proceso dentro de la instancia actual de AB...

52  Ejecute un comando NOHUP sobre SSH, luego desconecte  ( Run a nohup command over ssh then disconnect ) 
Quiero ejecutar un script, ABCDEFGHIJKLMNABCDEFGHIJKLMN4 En un servidor remoto que ejecuta esto: ABCDEFGHIJKLMNABCDEFGHIJKLMN5 ingenuamente, llamo a S...

2  Nohup paralelo y rsync fuera de error de memoria  ( Nohup parallel and rsync out of memory error ) 
Tengo 10TB de datos (alrededor de 100 millones de pdfs) que estoy copiando desde una caja de Centlos a una nueva caja de Ubuntu. Creé un script copy-pdfsh.sh ...

5  Proceso de fondo (NOHUP &) suspende / se reanuda cuando el usuario se registra / inicia sesión en  ( Background process nohup suspends resumes when user logs out logs in ) 
Ubuntu Server 11.10 Cuando un usuario normal (no raíz) inicia un proceso con NOHUP (NOHUP JAVA ... & AMP;), cuando el usuario se desconecta del terminal (SS...




© 2022 respuesta.top Reservados todos los derechos. Centro de preguntas y respuestas reservados todos los derechos