**Buscamos 7 Desarrolladores Back End Sr. Big Data Engineer**
Funciones: Backend Engineer
Tecnologías y herramientas principales: Data
- **Descripción**:_
Como parte del equipo de ingeniería de datos internacional, será responsable del diseño, desarrollo y operaciones de sistemas de datos a gran escala que operan a escala de petabytes. Se centrará en canalizaciones de datos en tiempo real, análisis de transmisión, big data distribuido e infraestructura de aprendizaje automático. Interactuará con ingenieros, gerentes de productos, desarrolladores de BI y arquitectos para brindar soluciones técnicas robustas y escalables.
Funciones y responsabilidades laborales esenciales:
- Mínimo de 6 a 8 años de experiência en desarrollo de GRANDES datos.
- Demuestra experiência actualizada en ingeniería de datos, desarrollo de canalización de datos complejos.
- Diseñar, desarrollar, implementar y ajustar sistemas distribuidos a gran escala y canalizaciones que procesan grandes volúmenes de datos; centrándose en la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema construido.
- Experiência con Java, Python para escribir canalizaciones de datos y capas de procesamiento de datos.
- Experiência en escribir trabajos de reducción de mapas.
- Demuestra experiência en escribir consultas complejas y altamente optimizadas en grandes conjuntos de datos.
- Experiência laboral comprobada con Big Data Technologies Hadoop, Hive, Kafka, Presto, Spark, HBase, Automic y Aorta.
- Altamente competente en SQL.
- Experiência con tecnologías en la nube (GCP, Azure).
- La experiência con almacenes de datos relacionales, NoSQL/en memoria sería una gran ventaja (Oracle, Cassandra, Druid).
- Proporciona y respalda la implementación y las operaciones de las canalizaciones de datos y las soluciones analíticas.
- Experiência en el ajuste del rendimiento de los sistemas que trabajan con grandes conjuntos de datos.
- Experiência en el procesamiento de datos de transmisión. Servicio de datos de API REST
- La experiência minorista es una gran ventaja o el Data Wrangler Este desarrollador se encargará de la incorporación de nuevas métricas a TLD, así como optimizaciones y estandarización de la información para el producto.
- **Requerimientos**:_
- Experiência en Azure Databricks.
- Airflow 1 / Airflow 2 Astronomer.
- Arquitectura GCP (Storage, Dataproc).
- Python, Spark, SQL, GIT, flujos PRs.
- Conocimiento en Azure Blob Storage / FileShares.
- Generación de claves SAS.
- Manejo de cuentas de servicio.
- Experiência en metodologías ETL, EL, ELT y técnicas de calidad de los datos.
- Deseable: Experiência trabajando en metodologías agiles / scrum.
Tipo de puesto: Tiempo completo, Por tiempo indeterminado
Salario: $55,000.00 - $65,000.00 al mes
Horario:
- Lunes a viernes
- Turno de 10 horas
Lugar de trabajo: remoto híbrido en 53390, Naucalpan de Juárez, Méx.