El trabajo de pegamento está fallando con el error de tiempo de conexión -- amazon-web-services campo con aws-glue campo con aws-glue-data-catalog camp Relacionados El problema

Glue job is failing with connection time out error


0
vote

problema

Español

Tengo un trabajo de Glue ETL que lee los datos del catálogo y escribe a S3. Una vez hecho esto, se debe activar un rastreador para actualizar los datos en Athena.

Entonces, estoy usando el método glue_client.start_crawler (Name = 'Crawler_Name') para iniciar un rastreador. Pero cada vez que intenté iniciar un rastreador del trabajo de pegamento ETL, está fallando con el siguiente error

  ConnectTimeoutError: Connect timeout on endpoint URL: "https://glue.eu-central-1.amazonaws.com/"   
Original en ingles

I have a Glue ETL job which reads the data from the catalog and writes to s3. Once this is done a crawler needs to be triggered to update the data in Athena.

So, I'm using glue_client.start_crawler(Name='crawler_name') method to start a crawler. But whenever I tried to start a crawler from the ETL Glue job, it is failing with following error

ConnectTimeoutError: Connect timeout on endpoint URL: "https://glue.eu-central-1.amazonaws.com/" 
        
 
 

Lista de respuestas

2
 
vote
vote
La mejor respuesta
 

Cuando inicia un trabajo de pegamento dentro de un VPC adjuntando una conexión, el tráfico residirá solo aws network y sin pasar por Internet Public.

Esta es la razón por la que no puede conectarse a Glue Boto3 Start Crawler API Llame. Para hacerlo, debe crear / agregar el punto final de Glue VPC al VPC y la solicitud para iniciar Crawler debe ser como se muestra como se muestra a continuación, que incluye endpoint_url.

  import boto3 glue = boto3.client(service_name='glue', region_name='eu-central-1',               endpoint_url='https://glue.eu-central-1.amazonaws.com') glue.start_crawler(Name='crawler_name')    
 

When you launch a Glue job inside a VPC by attaching a connection the traffic will be residing in only AWS network and without going through the public internet.

This is the reason why you are not able to connect to Glue boto3 start crawler API call. To do so you need to create/add the Glue VPC endpoint to the VPC and the request to start crawler has to be as shown as below which includes endpoint_url.

import boto3 glue = boto3.client(service_name='glue', region_name='eu-central-1',               endpoint_url='https://glue.eu-central-1.amazonaws.com') glue.start_crawler(Name='crawler_name')  
 
 
   
   

Relacionados problema

0  Glue Crawler para leer archivos S3 coincidentes  ( Glue crawler to read pattern matched s3 files ) 
Mientras se especifica public class a extends superA { public void e() { super.e(); this.c.a(this.j(), b.a((a)this)); // the problematic...

0  Crear tablas en el catálogo de datos de pegamento para datos en S3 y esquema desconocido  ( Create tables in glue data catalog for data in s3 and unknown schema ) 
Mi caso de uso actual es, en un servicio basado en ETL ( NOTE : el servicio ETL no está utilizando el Glue ETL, es un servicio independiente), estoy obteniend...

1  Pegamento de AWS y acceso de la región cruzada  ( Aws glue and cross region access ) 
Tengo algunas preguntas sobre el pegamento de AWS que esperaba que alguien pudiera responder por mí. Entonces, el escenario es que tenemos una cuenta de AWS...

0  ¿Cómo construir un catálogo de datos en el pegamento para el copo de nieve?  ( How to build a data catalog in glue for snowflake ) 
Soy nuevo en el copo de nieve. Me pregunto cómo crear un catálogo de datos para los datos de Snowflake? No puedo encontrar documentación sobre eso. Puedo en...

0  Glue Aws - Aplanar Profundamente anidado JSON  ( Aws glue flatten deeply nested json ) 
Me gustaría saber si hay una manera de aplanar JSON profundamente anidado usando el trabajo Glue ETL? Esto ha anidado matrices en él. Intenté ejecutar un rast...

0  ¿Por qué los datos de destino no están actualizados después de cambiar el trabajo de Glue TRAB SCRIPTE?  ( Why isnt target data updated after changing glue job scripte ) 
He definido un glue job para transformar los datos de S3 Fuente Bucket a S3 Destal Bucket. El script que estoy usando en el trabajo es Python . Funciona bi...

5  Manejar a JSON encriptado en el trabajo de pegamento de AWS  ( Handle encrypted json in aws glue job ) 
En nuestro entorno de premisa, JSON está generando datos de préstamos y se cifra utilizando un TARIR DE CRIPTO CORE, y este JSON encriptado se guarda en las t...

0  AWS EMR SPART usa pegamento como Metastore de Hive?  ( Aws emr spark use glue as hive metastore ) 
Hola Tengo una tabla externa de HIX que utiliza Glue AWS como catálogo de datos. El catálogo de pegamento es accesible para EMR. Lo he comprobado a través de ...

0  Sincronización de dos AWS Glue Data Catalog  ( Syncing two aws glue data catalog ) 
Tengo un caso de uso en el que quiero sincronizar dos Catálogo de datos de pegamento de AWS que reside en diferentes cuentas. ¿Se puede publicar / eliminar ...

9  Terraform Aws Athena para usar el catálogo de pegamento como DB  ( Terraform aws athena to use glue catalog as db ) 
Estoy confundido en cuanto a cómo debería usar Terraform para conectar Athena a mi base de datos de catálogo de pegamento. Yo uso resource "aws_glue_cata...




© 2022 respuesta.top Reservados todos los derechos. Centro de preguntas y respuestas reservados todos los derechos