¿Cómo cargar un flujo de tensor, modelo KERAS directamente en la memoria GPU para predicciones en tiempo real? -- python campo con gpu campo con conv-neural-network campo con real-time campo con google-colaboratory camp Relacionados El problema

How to load a tensor flow, Keras model directly onto GPU memory for realtime predictions?


0
vote

problema

Español

Esta es una pregunta confusa y muy general porque aún no conozco la terminología adecuada. Necesito ayuda para sembrar mi búsqueda y sugerencias sobre qué hacer o qué evitar, etc.

He entrenado una CNN en Google Colab Pro usando TensorFlow / Keras en MobileneTV2, ¡funciona, ¡yay! Alguien (a quien ya no tengo acceso a) mencionó que puedo cargar modelos directamente en la memoria de la GPU y configurarlo con predicciones en tiempo real. Soy un Ph.D. Estudiante y si pudiera mostrar prueba de concepto de esto para mi modelo, ¡con mi configuración podría ser una gran ayuda para nuestro laboratorio !!!

El problema es que no sé por dónde empezar! Quiero probar el proceso de carga de nuestro modelo terminado en la GPU para las predicciones en tiempo real. Transmitimos 1000 cuadros por segundo video 61x61 píxeles por cuadro, escala de grises durante unos 4 segundos a la vez. Quiero poder configurarlo en Google Colab ya que aún no tenemos una buena GPU. Solo estoy buscando una prueba de concepto, ya que sé que no puedo obtener predicciones en tiempo real si subía todos los datos (puedo falsificar el video de video en Python por ahora).

Entonces, ¿cómo puedo cargar un modelo directamente a la memoria GPU?

¿Alguna sugerencia sobre cómo hacer qué módulos usar, cosas que debe evitar?

¿Alguna idea sobre latencias realistas para tal configuración?

Entiendo que la latencia varía según muchas cosas, pero si alguien tiene experiencia con algo de forma remota similar, ¿cuáles son tus latencias? Quisiera latencias de & lt; = 8 ms

Es probable que cualquier cosa sea útil y estoy más que feliz de hacer un montón de lectura. ¡Solo necesito su ayuda para llegar allí! ¡Muchas gracias tanto!

Original en ingles

This is a confusing and very general question because I don't know the proper terminology yet. I need help seeding my search and suggestions on what to do or what to avoid etc.

I trained a CNN on Google Colab pro using TensorFlow/Keras on MobileNetV2, it works, yay! Someone (who I don't have access to anymore) mentioned that I can load models directly onto GPU memory and set it up for real-time predictions. I am a Ph.D. student and if I could show proof of concept of this for my model, with my setup it could be a great help to our lab!!!

The issue is I don't know where to start!!! I want to test the process of loading our finished model onto the GPU for real-time predictions. We stream 1000 frames per second video 61x61 pixels per frame, grayscale for about 4 seconds at a time. I want to be able to set it up on google colab since we don't have a good GPU yet. I am only looking for a proof of concept as I know I cant get real-time predictions if I uploaded all that data (I can fake the video feed in python for now).

So how do I load a model directly to GPU memory?

Any suggestions on how to go about what modules to use, things to avoid?

any thoughts on realistic latencies for such a setup?

I understand latency varies based on a lot of things but if anyone has experience with anything remotely similar what are your latencies? I would like latencies of <= 8 ms

Anything is likely helpful and I am more than happy to do a bunch of reading I just need your help getting there! thank you all so much!

              

Lista de respuestas


Relacionados problema

0  ¿Por qué sigo con un módulo llamado: ¿Error oficial?  ( Why do i keep on getting no module named official error ) 
Estoy tratando de entrenar un modelo de detección de objetos en Google Colab usando algún conjunto de datos personalizado, pero cuando ejecuto este bit de cód...

1  Google Colab. Ipython.display - Audio no funciona en la declaración de IF  ( Google colab ipython display audio not working in if statement ) 
Acabo de empezar a aprender Pyton. Conocí un comportamiento extraño del audio en la declaración. Debe funcionar, pero no funcionar. Ver por ejemplo aquí: h...

0  ¿Cómo reducir el tamaño de la producción celular en el Colaboratorio de Google?  ( How to shrink the size of cell output in the google colaboratory ) 
Ingrese la descripción de la imagen aquí Me gustaría disminuir el tamaño de la producción celular en Google Colab. Estoy haciendo tareas de aprendizaje de...

0  ¿Cómo puedo descartar algunas clases al crear un conjunto de datos en PyTorch?  ( How can i dismiss some classes when creating dataset in pytorch ) 
Es mi primera experiencia con Pytorch. Cloné el repositorio a Google Colab. Hay algunas clases (carpetas de imágenes) en el repositorio que quiero despedir (d...

27  ¿Cómo ejecutar un script de Python en un archivo '.py' de un portátil de Google Colab?  ( How to run a python script in a py file from a google colab notebook ) 
%%javascript IPython.OutputArea.prototype._should_scroll = function(lines) { return false; } %run rl_base.py ejecuto este error de entrega que dice ...

0  Anexar filas a shapefile en el disco (no en la memoria)?  ( Append rows to shapefile on disk not in memory ) 
Estoy tratando de combinar cada archivo de bloques del censo 2010 Juntos en un solo archivo de bloques maestros para los Estados Unidos. Actualmente estoy h...

2  ¿Hay alguna manera de utilizar los recursos de hardware de Google Colab sin sacrificar a mi editor de elección?  ( Is there a way to utilize google colab hardware resources without sacrificing my ) 
Estoy buscando una forma en que puedo escribir mi código en un entorno de terminal (en VIM o EMACS) y, sin embargo, (temporalmente) use los recursos de hardwa...

0  WEBDRIVERException: Mensaje: el ejecutable 'Chromedriver' debe estar en la ruta usando Python Language en Google Colaboratorio  ( Webdriverexception message chromedriver executable needs to be in path using ) 
Quiero obtener el cromédriver en la ruta ejecutable. Estoy usando Googlecolab para ejecutar el código: If delType = "Numeric" Then ElseIf delChars = 3 ...

5  Python Moemap en Google Colaboratorio  ( Python basemap in google colaboratory ) 
Solía ​​usar los siguientes comandos para instalar Libgeos y BaseMap en Google Colaboratorio y funcionó perfectamente hasta la semana pasada. !apt-get -qq ...

2  ¿Es posible realizar el procesamiento de imágenes en vivo webcam en Google Colab?  ( Is it possible to do live webcam image processing in google colab ) 
Quiero ejecutar un código de reconocimiento de cara en vivo en Google Colab, se necesita una imagen de la cámara web y realiza un reconocimiento facial, el có...




© 2022 respuesta.top Reservados todos los derechos. Centro de preguntas y respuestas reservados todos los derechos