Jobs
>
London

    Data Lake Engineer - London, United Kingdom - SDG Group

    SDG Group
    SDG Group London, United Kingdom

    9 hours ago

    Default job background
    Description

    Requisitos mínimos:

  • Estar graduado en Ingeniería Informática o de Telecomunicaciones.
  • Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.
  • Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc.
  • Además será importante que tengas experiencia en algunas de las siguientes herramientas:
  • Lenguajes: Python, Java o Scala.
  • Herramientas core del entorno de procesamiento en entornos Big Data, especialmente Apache Spark. Además es importante que tengas conocimientos sólidos de HDFS.
  • Conocimiento de al menos una plataforma de datos con profundidad: Databricks, AWS EMR, AWS Glue, Elastic Search, GCP Dataflow & Dataproc, etc.
  • Conocimiento en herramientas de orquestación como Apache Airflow, Azure Data Factory, Databricks workflows,...
  • Conocimiento y experiencia en el uso de sistemas de control de versiones (VCS), esencialmente Git.
  • Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos.

    • Requisitos valorables:

  • Nos gusta estar al día en nuevas tecnologías, así que necesitamos personas que quieran estar en continua evolución y que tengan ganas de aprender nuevas tecnologías y probar nuevas herramientas.
  • Para nosotrxs el trabajo en equipo es primordial, por lo que buscamos personas que impulsen ese buen ambiente y las sinergias entre compañerxs y diferentes equipos de trabajo.
  • Qué conozcas lenguajes que están tomando relevancia ahora en el mundo data como Rust o Elixir es algo que valoraremos muy positivamente también.
  • Cómo trabajamos en un entorno global, será un plus que puedas comunicarte en inglés.
  • Conocimiento sobre DataOps, Observabilidad, patrones de diseño low-code/no-code,...

    • Acerca del puesto:

    SDG Group es una firma de consultoría global focalizada exclusivamente en soluciones de data & analytics, cubriendo con ello toda la cadena de valor del dato, y proporcionando planes de carrera tanto de consultoría como de especialización para todos aquellos que quieran progresar en el mundo del dato. Además, a través de nuestra cultura Smart Work tendrás la posibilidad de definir el modelo de trabajo que más se adapte a ti y a tus necesidades personales, al mismo tiempo que puedas colaborar en iniciativas de gran impacto para clientes punteros en sus respectivas industrias.

    Como data engineer del área de Data Technologies, tu misión será formar parte de equipos multidisciplinares con el objetivo de ayudar a nuestros clientes a abordar iniciativas de datos en entornos de alta complejidad técnica. Tendrás la posibilidad de utilizar un amplio espectro de tecnologías innovadoras para la construcción de soluciones de gestión de datos bajo diversos paradigmas de procesamiento y modelado, aplicando para ello los principios adecuados en términos de desarrollo y arquitectura.

    Asimismo, gracias a nuestro path de especialista tendrás la oportunidad de crecer como ingeniero y/o arquitecto Big Data, contando con herramientas y recursos para tu continuo aprendizaje y crecimiento profesional, al mismo tiempo que te involucras en diversos retos que permitan tanto a SDG Group como a nuestros clientes explotar al máximo el valor de sus datos.

    Responsabilidades:

  • Darás tu opinión técnica sobre los procesos y arquitecturas que se desarrollen para nutrir las conversaciones técnicas que se llevan a cabo durante las fases de diseño de la misma, priorizando estrategias dirigidas por metadatos y fundamentadas en DataOps.
  • Participarás en la toma de requerimientos necesarios para arquitecturas y pipelines de datos.
  • También llevarás a cabo tareas de desarrollo con diferentes tecnologías, aunque principalmente usamos Spark (tanto para procesos en batch como streaming). Adicionalmente, y aunque nuestros desarrollos habitualmente no se basen en SQL, es importante que tengas la soltura suficiente para hacer exploración de datos.
  • Somos bastante agnósticos a la tecnología y a la infraestructura en nuestros proyectos, así que es posible que tengas experiencia proyectos en AWS, Azure, GCP u on-premises, por lo que será importante que no te importe estar cambiando de entorno con frecuencia.
  • A veces también nos toca crear u optimizar tiempos de respuesta en motores de búsqueda, así que cualquier experiencia en Solr o Elastic nos gustará.
  • Además, en algunos momentos también necesitaremos hacer pruebas de concepto y pruebas con tecnologías nuevas en el mercado y servicios cloud nuevos o que creamos que puedan ser útiles para nuestros proyectos o clientes, por lo que también podrás colaborar en tareas de innovación.
  • Method Resourcing

    Senior Azure Data Engineer

    3 days ago

    Method Resourcing London, United Kingdom

    **Senior Data Engineer | Azure | PySpark | SparkSQL | SSIS | SQL | ETL/ELT | Databricks | Azure Data Factory | Up To £90,000 | Remote** · Method Resourcing are proud to be representing a growing financial services organisation who specialise in both asset and wealth management wh ...

  • Arthur

    Data Architect

    3 days ago

    Arthur London, United Kingdom

    Data Architect / Data specialist - London - Hybrid - 1 or 2 days a week in office - Azure, SQL, Data Bricks, API, data warehouses, data lakes, lake house, cubes, reporting - £100,000 - £115,000 · Perfect for a Data Consultant / Engineer to take the next step in their careers · Su ...

  • eFinancialCareers

    Remote Principal Data Engineer Python Java Finance

    11 hours ago

    eFinancialCareers London, United Kingdom

    REMOTE Principal Data Engineer (Architect Data Architecture Engineering Principal Lead Manager Java Python GCP AWS Cloud Trading Front Office Finance Financial Services Spark Kafka Agile Remote Data Lake Datalake Investment Banking Asset Management Manager)required by our fixed i ...

  • eFinancialCareers

    Principal Data Engineer Python Java Trading

    11 hours ago

    eFinancialCareers London, United Kingdom

    Principal Data Engineer (Architect Data Architecture Engineering Principal Lead Manager Java Python GCP AWS Cloud Trading Front Office Finance Financial Services Spark Kafka Agile Remote Data Lake Datalake Investment Banking Asset Management Manager) requiredby our fixed income t ...

  • eFinancialCareers

    Senior Data Engineer Python Java Trading Finance

    11 hours ago

    eFinancialCareers London, United Kingdom

    Senior Data Engineer (Architect Data Architecture Engineering Principal Lead Java Python GCP AWS Cloud Trading Front Office Finance Financial Services Spark Kafka Agile Datalake Data Lake Investment Banking Asset Manager Management) required by our fixedincome trading software cl ...

  • eFinancialCareers

    Remote Data Engineer Python Java Trading Finance

    11 hours ago

    eFinancialCareers London, United Kingdom

    REMOTE Senior Data Engineer (Architect Data Architecture Engineering Principal Lead Java Python GCP AWS Cloud Trading Front Office Finance Financial Services Spark Kafka Agile Datalake Data Lake Investment Banking Asset Manager Management) required by ourfixed income trading soft ...

  • eFinancialCareers

    Data Engineer

    11 hours ago

    eFinancialCareers London, United Kingdom

    **Data Engineer - Macro Hedge Fund - Base up to £150k + Bonus** · You take pride in your ability to not only manage complex pipelines, processes, and models but build the pipelines from scratch to ensure their efficacy. Your last greenfield project seems like a lifetime ago. Comp ...

  • eFinancialCareers

    Software Engineer Scala/spark

    2 days ago

    eFinancialCareers London, United Kingdom

    **Location**: London (Hybrid) · We are looking for Cloud Software Engineer - Scala/Azure Cloud to: · - Design and Develop high quality software solutions for Market Risk platform · - Implement scalable solutions to meet the ever increasing data volumes, using Scala, big data/clou ...

  • Nigel Frank International

    Senior Data Engineer

    11 hours ago

    Nigel Frank International London, United Kingdom

    **Senior Data Engineer** · I am currently working with one of the UK's leading investment management organisation who are looking for a Senior Data Engineer to join their Data Engineering team. The aim of this team is to increase the organisation capabilities to become a truly da ...

  • Opus Recruitment Solutions Ltd

    Senior Data Engineer

    1 day ago

    Opus Recruitment Solutions Ltd London, United Kingdom

    **Senior Data Engineer** · **Azure Consultancy** · **Hybrid Work Model** · **Permanent** · **£60,000-£80,000** · My client are a leading Azure Consultancy that focus helping clients in 4 core areas; Integration, Application Development, Cloud Managed Services and Cloud Infrastruc ...

  • Harnham

    Python Software Engineer

    2 days ago

    Harnham London, United Kingdom

    An InsurTech organization is hiring a Python engineer to join their London-based team. They are seeking a motivated and commercially experienced Python Engineer who is looking for a challenge in a dynamic and supportive team atmosphere. This team works withdata lakes, data wareho ...

  • Circle Recruitment

    Senior Data Engineer

    2 days ago

    Circle Recruitment Mayfair, United Kingdom

    Senior Data Engineer - Azure - Home Working · I'm currently looking for multiple Azure based Senior Data Engineers with experience in implementing Data Sets, data lakes and data pipelines & excellent experience SQL, Azure, Big Data tools (Hadoop or Spark) is required to join a le ...

  • BCT Resourcing

    Senior Azure Data Engineer

    2 days ago

    BCT Resourcing London, United Kingdom

    Azure Data Engineer | London Market Insurance | · Location: 2 days p/week on site, City of London · Day Rate (Contract): £600-£700 p/day Outside IR35 · Insurance or other financial services experience required. · Company client currently working with a leading insurance business ...

  • Harnham - Data & Analytics Recruitment

    Azure Data Engineer Contract

    2 days ago

    Harnham - Data & Analytics Recruitment London, United Kingdom

    I am partnered with an established green energy client as they look to build a new data lake and require an Azure Data Engineer for the project. · **THE ROLE AND RESPONSIBILITIES** · - Build and automate ETL pipelines using Python. · - Write reliable and testable code using tools ...

  • Australasian Recruitment Company

    Junior Data Engineer

    11 hours ago

    Australasian Recruitment Company London, United Kingdom

    Junior Data Engineer · **Salary**: £33,000 per annum · Do you have experience as a data engineer and have an interest in the tech industry? Our client works with tech scale ups to assist their growth and is seeking a Junior Data Engineer to support the R&D team with research for ...

  • Akkodis

    Scala/spark Developer

    1 day ago

    Akkodis London, United Kingdom

    6 Years Hands-on experience as a software engineer in a globally distributed team working with Scala programming language · - Hands-on expertise with Spark/Scala, HDFS, Hive · - Experience with big-data technologies Spark/Databricks and Hadoop/ADLS is a must · - Experience in any ...

  • Akkodis

    Senior/lead Azure Data Engineer

    1 day ago

    Akkodis London, United Kingdom

    **Senior Azure data Engineer - Up to 90k (D.O.E)** · A Global telecommunications company are actively looking for a talented Lead Data Engineer, with big ambitions for the team and the future of the business - it's an interesting time to join them · They're looking for a Senior D ...

  • eFinancialCareers

    Senior Data Engineer

    1 day ago

    eFinancialCareers London, United Kingdom

    Join us as a Senior Data Engineer · - This is an exciting opportunity to use your technical expertise to collaborate with colleagues and build effortless, digital first customer experiences · - You'll be simplifying the bank through developing innovative data driven solutions, in ...

  • Sentient Talent

    BI Data Engineer

    3 days ago

    Sentient Talent London, United Kingdom

    **BI Data Engineer** · **London (Hybrid)** · **About the Role** · **Responsibilities** · - Design, build, and maintain the data infrastructure and systems that support our company's data needs, including data pipelines and data warehouse. · - Work with stakeholders to gather and ...

  • Jefferson Frank

    Data Engineer Azure

    3 days ago

    Jefferson Frank London, United Kingdom

    **Data Engineer - (Azure) x2, Hybrid, East London, £70,000-£100,000, 10% Bonus -**DataLakes, PySpark, SQL, Azure, Python, Spark, Databricks, Agile · **Role Overview** · **Skills and Experience** · - Demonstrable**design & development** experience and experience with **big data** ...