Quiero cargar los múltiples mensajes de Kafka a varias carpetas HDFS en NIFI -- apache-kafka campo con apache-nifi camp Relacionados El problema

I want to load the multiple Kafka messages to multiple HDFS folders in Nifi


0
vote

problema

Español

Actualmente estoy usando Consumeskafkarecord, fusionar contenido y PUTHDFS para cargar los datos de Kafka a Hive. Necesitamos automatizar esto para varios temas de Kafka. ¿Hay alguna forma de hacerlo en NIFI?

por ejemplo: si doy nombres de temas como ABC, XYZ, los datos del tema ABC deben moverse a / ABC y los datos de XYZ deben moverse a / xyz carpeta.

por favor sugerir.

Original en ingles

Currently I am using ConsumeKafkaRecord, Merge Content and PutHDFS to load the data from kafka to Hive. We need to automate this for multiple kafka topics. Is there any way to do it in nifi.

Eg : If I give topic names as abc,xyz the data from abc topic should be moved to /abc and data from xyz should be moved to /xyz folder.

Please suggest.

     

Lista de respuestas

4
 
vote

el Consumirkafkarecord El procesador escribe un atributo llamado User Id=myUsername; Password=myPassword;4 que contiene el nombre del tema donde se encuentran los registros. < / p>

y el parámetro de puthdfs admite lenguaje de expresión.

Por lo tanto, puede especificar algo como User Id=myUsername; Password=myPassword;5 en ella

 

The ConsumeKafkaRecord processor writes an attribute named kafka.topic that contains the name of the topic where records are from.

And the directory parameter of PutHDFS supports expression language.

so, you could specify something like /${kafka.topic} in it

 
 
   
   
0
 
vote

Con respecto a su segunda parte de la pregunta, puede combinar archivos (usando Mergecontent) según el atributo 'kafka.topic'. De esta manera, puede combinar contenido de diferentes temas utilizando un procesador. (Los datos de cada tema se fusionarán solo con los datos de ese tema en particular)

Puede dirigir los archivos a diferentes directorios en HDFS mencionando la ruta como "hdfs: // $ {su-hdfs-race} / $ {kafka.topic}"

¡Hágame saber si necesita más ayuda!

 

Regarding your second part of the question, you can merge files (using mergeContent) based on the 'kafka.topic' attribute. This way you can merge content of different topics using one processor. (Data of every topic will be merged only with the data of that particular topic)

You can then route the files to different directories in HDFS by mentioning the path as "hdfs://${your-hdfs-path}/${kafka.topic}"

Let me know if you need more assistance!

 
 

Relacionados problema

0  NIFI o ROPSETS para leer desde HBASE, únase con contenido del archivo plano y escriba a Hive  ( Nifi or streamsets to read from hbase join with content from flat file and wri ) 
estaba tratando de averiguar si se pueden lograr une con Apache NIFI o Streamsets. Para que pueda leer desde HBase periódicamente, únase con otras tablas y es...

2  Aplicación de manipulaciones de cadena / operaciones matemáticas a los contenidos de un archivo de flujo en NIFI  ( Applying string manipulations mathematical operations to the contents of a flow ) 
Tengo un archivo de flujo que viene, que tiene datos de ancho fijo en el siguiente formato: ABC 0F 15343543543454434 gghhhhhg ABC 01 433534343434 h...

0  Apache NIFI con WebSocket Stream de Google Flatbuffers Payloads  ( Apache nifi with websocket stream of google flatbuffers payloads ) 
¿Se ha hecho algo como esto antes? Si no, ¿qué estaría involucrado en conseguir que NIFI ingiera un flujo que llega a través de un WebSocket con Google Flatbu...

0  Problemas que eliminan los descriptores en Apache NIFI usando API de descanso  ( Problems deleting descriptors in apache nifi using rest api ) 
Estoy tratando de usar la API de reposo para actualizar y controlar dinámicamente mi flujo de NIFI Apache. Estoy usando Postman para explorar la API de descan...

0  Apache-NIFI - suspender el flujo mientras revalidifica el token  ( Apache nifi suspend flow while revalidating the token ) 
Tengo la siguiente situación: Necesito grabar varias entradas utilizando un servicio web donde uso un token que caduque cada 60 minutos para la autenticació...

0  NIFI redirigir a través de cuentas de AWS  ( Nifi redirect through aws accounts ) 
Esta es probable que sea una pregunta de muy nicho. Tengo un sistema NIFI configurado externo a AWS que lee de una cola SQS y luego pulsa archivos de un cub...

0  Fetch toda la versión de Hbase Table Filas a través de NIFI  ( Fetch all version of hbase table rows via nifi ) 
Me gustaría obtener todas las versiones de filas de la tabla de Hbase a través de NIFI. No creo que sea posible con el FetchHBase GetHBase ScanHBase proce...

1  NIFI-1.0.0 - Cargar Script LUA  ( Nifi 1 0 0 load lua script ) 
Tengo un procesador NIFI, que utiliza el lib de Redislabs / LuaScript para cargar un script LUA y ejecutarlo en una instancia de Redis. La cosa es que no sé...

39  Diferencia entre Apache NiFi y Streamsets  ( Difference between apache nifi and streamsets ) 
Estoy planeando hacer un proyecto de clase y estaba pasando por pocas tecnologías en las que puedo automatizar o establecer el flujo de datos entre los sistem...

7  Apache-NIFI no puede crear el controlador JDBC de la clase 'com.mysql.jdbc.driver'  ( Apache nifi cannot create jdbc driver of class com mysql jdbc driver ) 
Salida de $NIFI_HOME/logs/nifi-app.log6 : 2016-10-26 12:45:13,304 ERROR [Timer-Driven Process Thread-6] o.apache.nifi.processors.standard.PutSQL org.apach...




© 2022 respuesta.top Reservados todos los derechos. Centro de preguntas y respuestas reservados todos los derechos