.Inversora de bienes raíces altamente reconocida dentro de su ramo se encuentra en búsqueda de un Data Engineer especializado en IA.Requisitos:Licenciatura en: Ciencias de la Computación, Ingeniería de Software, o un campo relacionado.Mínimo 3 años de experiencia en ingeniería de datos y manejo de grandes volúmenes de datos.Principales Responsabilidades:Diseño de Arquitectura de Datos: Crear arquitecturas de datos escalables y eficientes que soporten grandes volúmenes de datos y diferentes tipos de procesamiento.Creación de Pipelines ETL/ELT: Diseñar y desarrollar pipelines de Extract, Transform, Load (ETL) o Extract, Load, Transform (ELT) que integren, transformen y carguen datos desde diferentes fuentes hacia sistemas de almacenamiento.Automatización de Procesos: Automatizar los procesos de ingestión y transformación de datos para asegurar que los pipelines sean eficientes y minimicen el trabajo manual.Validación y Limpieza de Datos: Implementar mecanismos para validar y limpiar datos, asegurando que sean precisos, completos y consistentes antes de su uso en análisis y modelos de IA.Monitoreo y Mantenimiento: Configurar sistemas para monitorear la calidad de los datos y mantener los procesos de datos, corrigiendo problemas de calidad o fallos en los pipelines.Optimización de Consultas y Almacenamiento: Mejorar el rendimiento de consultas y el almacenamiento de datos para asegurar tiempos de respuesta rápidos y el uso eficiente de los recursos.Escalabilidad: Asegurar que la infraestructura de datos pueda escalar para manejar el crecimiento en el volumen de datos y la demanda de procesamiento.Implementación de Seguridad de Datos: Aplicar medidas de seguridad para proteger los datos sensibles, incluyendo cifrado, control de acceso y auditoría.Cumplimiento Normativo: Asegurarse de que el manejo de datos cumpla con las regulaciones y normativas pertinentes, como GDPR, HIPAA, etc.Trabajo con Científicos de Datos: Colaborar con científicos de datos para entender sus necesidades y asegurar que la infraestructura de datos soporte efectivamente sus modelos y análisis.Interacción con Equipos de Desarrollo: Coordinar con equipos de desarrollo de software para integrar soluciones de datos en aplicaciones y sistemas existentes.Documentación: Mantener una documentación clara y detallada de la arquitectura de datos, los pipelines y los procesos para facilitar la gestión y la colaboración.Evaluación y Mejora: Evaluar el rendimiento y la eficacia de la infraestructura de datos y los pipelines, proponiendo y realizando mejoras continuas.Uso de Herramientas y Tecnologías: Implementar y utilizar herramientas y tecnologías como Apache Hadoop, Apache Spark, Kafka, bases de datos SQL y NoSQL, y plataformas en la nube (AWS, Azure, Google Cloud) según las necesidades de la empresa.Conocimientos Técnicos en:Experiencia con herramientas de procesamiento de datos como Hadoop, Spark.Conocimiento de bases de datos SQL y NoSQL.Habilidad para trabajar con APIs y ETL
