Azure EventHub Cargar Distribución -- performance campo con azure campo con azure-eventhub camp Relacionados El problema

Azure eventhub load distribution


0
vote

problema

Español

Tengo una solución de eventos donde hay muchos editores que publican datos en el centro. Actualmente no estamos utilizando particiones. Me gustaría tener una solución donde pueda haber múltiples oyentes / suscriptores que puedan escuchar estos eventos en paralelo. P.ej Si hay una eventa y un eventb, ¿puedo tener un solo oyente recibir el eventa y otro oyente recibir el eventb para que se pueda distribuir la carga? Tengo que hacer algo de cómputo en cada evento, así que quiero que los computados se distribuyan y no duplicados

Original en ingles

I have an eventhub solution where there are alot of publishers publishing data to the hub. Currently we are not using partitions. I would like to have a solution where there can be multiple listeners/subscribers who can listen to these events in parallel. E.g If there is an eventA and an eventB, can I have only one listener recieve the eventA and other listener receive the eventB so that the load can be distributed? I have to do some compute on each event so I want the computed distributed and not duplicated

        

Lista de respuestas

1
 
vote

Sí, eso es para lo que son las particiones. Para un grupo de consumo determinado, puede haber varios lectores dividiendo su trabajo entre ellos, pero su cantidad máxima está limitada por el recuento de particiones.

Cada consumidor bloquearía 1 o más particiones, y será el único que trabaja en los eventos de los.

 

Yes, that's what partitions are for. For a given consumer group, there can be multiple readers splitting their work among them, but their max amount is limited by partition count.

Each consumer would lock 1 or more partitions, and will be the only one working on events from those.

 
 
 
 

Relacionados problema

0  ¡Algunas corrientes terminadas antes de que este comando pudiera terminar! Transmisión estructurada  ( Some streams terminated before this command could finish structured streaming ) 
Estoy tratando de leer los datos de transmisión en Azure Daathricks provenientes de Azure EventHubs. Este es el código que he estado usando: connectionStri...

2  Transmite un evento a todos los consumidores utilizando un concentrador de eventos Azure  ( Broadcast an event to all consumers using an azure event hub ) 
Quiero usar el concentrador de Event-Bus Service-Bus Azure para enviar un mensaje único a muchas instancias de una solicitud, teniendo en cuenta que la meta n...

1  Lectura de datos AVRO con los registros de datos de Azure Data Lake Gen1 generado por Azure EventHubs Capture falla  ( Reading avro data with databricks from azure data lake gen1 generated by azure e ) 
Estoy tratando de leer los datos de AVRO de Azure Data Lake Gen1, generado desde Azure EventHubs con Azure Event Hubs Capture habilitado en Azure Daaticks con...

0  Cómo proporcionar la ruta completa del contenedor en la clase AzurestoragecheckPointLeasManager  ( How to provide the complete path of the container in azurestoragecheckpointlease ) 
Estoy usando la clase EPH (EventProcessorhost) de Azure Python SDK para recibir eventos del evento. En realidad, utiliza AzureStorageCheckpointLeaseManager ...

1  ¿Se puede especificar una fecha y hora al enviar datos a Azure Event HUB?  ( Can a date and time be specified when sending data to azure event hub ) 
Aquí está el escenario. No estoy trabajando con datos en tiempo real. En su lugar, obtengo datos de mi compañía eléctrica para el uso eléctrico del pasado del...

1  Cómo solucionar problemas de error de carga de paquete en Spark  ( How to troubleshoot package loading error in spark ) 
Estoy usando Chispa en HDinsight con portátil Jupyter. Estoy usando el %% Configure "Magic" para importar paquetes. Cada vez que hay un problema con el paquet...

1  ¿Cómo manejar el receptor de Azure Event HUB correctamente en la aplicación MVC?  ( How to handle azure event hub receiver properly in mvc application ) 
Estoy haciendo un pequeño proyecto en los centros de eventos de Microsoft Azure. Necesito mostrar los registros de actividad de mi suscripción de Azure a la a...

0  Fallo al registrarse EventProcessorhost  ( Failure when registering eventprocessorhost ) 
Estoy tratando de usar EventProcessorhost para consumir mensajes de EventHub en Java. Siguió pasos que se le dan aquí1 y aquí2 Pero cuando ejecuto el códi...

1  Offset en la aplicación Azure EventHubtrigger Function  ( Offset in azure eventhubtrigger function app ) 
expectativa: El uso de una aplicación de función con la plantilla EventHubtrigger-CSHARP se ejecuta cuando se avecina un nuevo evento. Implementación: U...

1  Storm: eventhub sput deja de recibir mensajes  ( Storm eventhub spout stops receiving messages ) 
En este momento, estoy desarrollando una topología de tormenta para procesar los datos de medición de la máquina en bruto. Sin embargo, estoy encontrando prob...




© 2022 respuesta.top Reservados todos los derechos. Centro de preguntas y respuestas reservados todos los derechos