Amazon Managed Streaming for Apache Kafka MSK simplifica la ejecución de Kafka en AWS y MSK Connect extiende esa funcionalidad permitiendo el flujo de datos entre topics de Kafka y sistemas externos como Amazon S3, Elasticsearch o bases de datos. Sin embargo, cuando el clúster MSK y MSK Connect se despliegan en subredes privadas, aparecen con frecuencia problemas de red, autenticación y plugins. Esta guía paso a paso explica cómo configurar MSK Connect en subredes privadas, por qué ocurren los errores más comunes y cómo solucionarlos. Además incluye recomendaciones prácticas y ejemplos para escenarios desde la creación del clúster hasta la integración en entornos ya existentes.

Sobre Q2BSTUDIO: Somos una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones cloud, servicios cloud aws y azure, inteligencia artificial y ciberseguridad. Ofrecemos software a medida, servicios de inteligencia de negocio y soluciones de ia para empresas como agentes IA y pipelines de datos optimizados que incluyen integraciones con Kafka y MSK Connect.

Escenario 1 Configuración desde cero en subredes privadas Si no tienes aún un clúster MSK debes provisionarlo dentro de una VPC. Al trabajar en subredes privadas toda la comunicación depende de reglas de security group y de endpoints VPC correctos.

Paso A Crear el clúster MSK VPC y subnets Usa subredes privadas para los brokers. Asegura rutas adecuadas, por ejemplo NAT Gateway o endpoints VPC, para que los brokers y Connect puedan alcanzar servicios como S3 y CloudWatch. Security Group SG: crea un SG dedicado para MSK. Reglas inbound: permitir tráfico desde las subredes privadas donde correrán los clientes o Kafka Connect. Reglas outbound: críticas. MSK necesita salida para alcanzar servicios externos. Si faltan verás errores tipo org.apache.kafka.common.errors.TimeoutException Timed out waiting to send the call Call fetchMetadata. El clúster puede provisionarse pero los conectores no podrán comunicarse con los brokers. Solución: permite tráfico outbound hacia 0.0.0.0/0 en los puertos requeridos o al menos hacia los endpoints de servicio de AWS.

Autenticación y puertos de broker MSK soporta varios mecanismos de autenticación y cada uno requiere usar un endpoint y puerto determinados: IAM authentication usar bootstrap_brokers_sasl_iam en puerto 9098; SASL SCRAM usar bootstrap_brokers_sasl_scram en puerto 9096; TLS only usar bootstrap_brokers_tls en puerto 9094. Error común: usar el endpoint equivocado para el método de autenticación seleccionado, lo que produce timeouts o fallos de metadata. Si configuraste MSK con SASL debes usar la opción NONE en Kafka Connect para la autenticación; si seleccionaste IAM debes configurar Connect para usar IAM y apuntar a bootstrap_brokers_sasl_iam.

Nota adicional: si IAM es false y SASL es true debes crear usuarios y contraseñas explícitos para el clúster MSK. Si eliges IAM puro no se requieren credenciales manuales.

Paso B Crear el clúster Kafka Connect Provisiona Kafka Connect en la misma VPC. Opciones de autenticación en Connect: NONE o IAM. Si el clúster MSK fue creado con SASL selecciona NONE. Si fue creado con IAM selecciona IAM y usa el endpoint bootstrap_brokers_sasl_iam puerto 9098. Un error de selección producirá fallos de conexión o errores de fetch de metadata.

Permisos del rol de ejecución Las tareas de Kafka Connect corren bajo un rol IAM de ejecución. Para sinks o sources a S3 este rol debe incluir al menos s3 GetObject y s3 ListBucket. Sin estos permisos los conectores fallarán al leer o escribir en S3.

Endpoint VPC para S3 Al estar en subred privada MSK Connect no puede alcanzar S3 directamente. Crea un Gateway VPC Endpoint para com.amazonaws.region.s3 y asócialo a las tablas de ruta de las subredes privadas. Si falta verás errores tipo com.amazonaws.SdkClientException Unable to execute HTTP request Connect to s3.region.amazonaws.com 443 failed connect timed out.

CloudWatch logging Crea siempre un grupo de logs de CloudWatch para Kafka Connect. Los logs son indispensables para diagnosticar errores en tareas y conectores.

Plugins personalizados Muchos conectores reales no están incluidos por defecto. Descarga o construye los JAR del conector, empaquétalos en ZIP y súbelos a un bucket S3. Referencia la ruta S3 al crear el clúster Connect. Si falta el plugin o el ZIP no está bien formado la creación del conector fallará.

Errores comunes y soluciones escenario 1 TimeoutException uso de puerto equivocado o SG outbound bloqueado verifica que el endpoint de broker coincida con la autenticación y revisa reglas outbound. ConnectException unable to execute HTTP request MSK Connect en subred privada no puede alcanzar S3 crea el Gateway VPC Endpoint para com.amazonaws.region.s3. Conector no puede acceder a S3 permisos IAM faltantes en el rol de ejecución añade s3 GetObject y s3 ListBucket. Plugin not found plugin no subido o formato incorrecto sube ZIP correcto a S3 y especifica la ruta en la configuración de Connect.

Escenario 2 Configuración con clúster existente Si ya cuentas con un clúster MSK en subred privada el proceso es más sencillo pero exige validación. Verifica el método de autenticación activo IAM SASL o TLS y determina el endpoint de brokers correspondiente. Revisa reglas outbound en security groups.

Kafka Connect Despliega Connect en la misma VPC y subredes privadas. Empareja la autenticación: si el clúster usa SASL selecciona NONE; si usa IAM selecciona IAM y usa los bootstrap brokers IAM. Asegura el endpoint VPC para S3, permisos del rol de ejecución y la existencia del grupo de logs en CloudWatch. Confirma que los plugins están disponibles en S3 en formato ZIP.

Resolución de problemas Si los conectores siguen fallando revisa los logs en CloudWatch. Los problemas típicos vuelven a ser endpoints de broker incorrectos, permisos S3 ausentes, endpoint VPC faltante o errores de empaquetado de plugins.

Buenas prácticas Crea clústeres MSK en subredes privadas y añade los endpoints VPC necesarios para servicios dependientes. Comprueba siempre qué endpoint de broker corresponde a la autenticación usada para evitar mezclar IAM SASL o TLS. Aplica políticas IAM de menor privilegio pero no olvides los permisos explícitos para el rol de ejecución de Connect. Empaqueta los conectores en ZIP correctamente antes de subirlos a S3. Monitoriza logs de Kafka Connect en CloudWatch para acelerar la resolución de incidencias.

Conclusión Ejecutar MSK Connect en subredes privadas requiere más que clics en la consola. Hay que diseñar bien la VPC, configurar security groups, seleccionar correctamente autenticación y crear los endpoints de servicio necesarios. La mayoría de errores provienen de malas configuraciones de red o de endpoints de brokers incompatibles con el método de autenticación. Siguiendo estos pasos y verificando cada punto podrás desplegar pipelines Kafka a S3 estables y seguros.

Si necesitas ayuda profesional para diseñar e implementar pipelines basados en Kafka, integraciones con S3, migraciones a la nube o desarrollar soluciones de inteligencia artificial y agentes IA para tu empresa, en Q2BSTUDIO ofrecemos servicios integrales de software a medida, aplicaciones a medida, servicios de inteligencia de negocio y ciberseguridad. Conecta con nuestros expertos en inteligencia artificial o solicita consultoría en servicios cloud aws y azure para acelerar tus proyectos.