Data Engineer & Generative AI.

Si eres Senior Data Engineer y quieres participar en un proyecto de nuestro área de Data con experiencia en mantenimiento, optimización, integración , gestión del ciclo de vida y calidad del dato basado en cloud y aportas experiencia en proyectos de IA Generativa construyendo RAG y Agentes, este proyecto te puede interesar.

Responsabilidades

• Diseño e implementación de pipelines de datos: crear y estructurar procesos para la ingestión, procesamiento y transformación de datos.
• Construcción de RAG y/o Agentes.
• Recolección y almacenamiento de datos: implementar soluciones para la captura y almacenamiento eficiente de datos provenientes de diversas fuentes.
• Limpieza y preprocesamiento de datos: asegurar que los datos estén limpios y listos para su análisis, aplicando técnicas de limpieza y transformación.
• Optimización de bases de datos: ajustar bases de datos para mejorar su rendimiento y escalabilidad.
• Integración de datos: facilitar la correcta integración de datos provenientes de distintas fuentes.
• Mantenimiento de sistemas de datos: asegurar el funcionamiento continuo y eficiente de los sistemas de datos.
• Monitorización y ajuste de flujos de datos: supervisar y ajustar los pipelines y flujos de datos para mantener su rendimiento y confiabilidad.
• Calidad del dato: implementar y mantener prácticas para asegurar la precisión, consistencia y fiabilidad de los datos.
• Gestión del ciclo de vida del dato: gestionar el ciclo de vida de los datos desde su creación hasta su eventual archivado y eliminación.
• Orquestación de pipelines de datos: implementar y gestionar herramientas de orquestación de flujos de trabajo como Apache Airflow, AWS Step Functions, o Google Cloud Composer para asegurar la automatización y eficiencia de los pipelines de datos.
• Ingesta de datos Batch y/o Streaming: desarrollar e implementar procesos de ingestión de datos en lotes y en tiempo real utilizando herramientas como Apache Kafka, Change Data Capture (CDC), y AWS Kinesis.