Powered by AWS Lambda, SES, SNS, CloudTrail, CloudWatch, DynamoDB, Cloudformation. Automate email alerts to resource creators those who haven't done required tagging. This is to help platform team to charge infra cost back to application team BU. This is a common issue where orgs want to control security aspect of a few shared AWS accounts with deployment pipelines in places

Minimal AWS Lambda infra pipeline: Terraform + OIDC GitHub Actions + Docker builds

DESCRIÇÃO DA VAGA Buscamos engenheiros de dados que se motivem com tecnologia de ponta e um ambiente com com muita autonomia para testar coisas novas. Somos um time que está sempre se reinventando para arquitetar soluções para para processar, armazenar e prover dados cada vez mais relevantes para todos os nossos produtos e também para nossos clientes. Você participará de um time que estará arquitetando sistemas distribuídos, criando pipelines escaláveis e confiáveis, combinando múltiplas fontes de dados e pensando em arquiteturas de dados escaláveis e otimizando recursos pensando na eficiência da nossa infra. Nossa tecnologia suporta as maiores marcas e varejos do mercado a tomarem decisões estratégicas sobre suas vendas no canal digital - e-commerce - e ajudam a aproximá-los das dos shoppers em campanhas em redes sociais. Responsabilidades: Conhecer e interagir com as diferentes áreas da Lett com o objetivo de ter um conhecimento amplo do negócio e das bases de dados; Desenvolver e implantar arquiteturas e processos que suportem as soluções das demais equipes de forma escalável; Governar, documentar e prover acesso a metadados a todas as equipes; Modelar Data Lakes e Data Warehouse; Pesquisar e trazer abordagens e tecnologias modernas para as soluções de Big Data da empresa; Criar e gerenciar data flows, clusters de processamento e armazenamento de dados em nossa cloud; Propor melhorias, otimizações de baixo nível e novas arquiteturas para os outros times; Democratizar o acesso a dados utilizando ferramentas e desenvolvimento de interfaces (como APIs, ETLs, SQL); e trabalhar diretamente com equipes de produto. REQUISITOS DA VAGA Requisitos: Experiência com Python; Experiência com Docker e docker-compose; Estar muito confortável com ambiente Spark (Pyspark no serviço EMR da AWS ou em Kubernetes); AWS (Elastic Beanstalk, SQS, RDS, Lambda Functions, EC2, EMR, S3, SNS); Vasta experiência com Data Lakes em storage de objetos (AWS S3); Vasta experiência com Google Big Query (modelagem de dados, ELTs, manutenção e governança); Experiência com o conceito de ELT; Experiência com governança e catalogação de dados; Apache Airflow (Implementação de DAGs e deploys do Airflow em formato de workers distribuídos); Data warehouses, data lakes, suas interfaces (engines SQL, processos de ETL, acesso direto a objetos) e sua organização ( particionamento, formas de orientar dados, custo e performance); Estar confortável com SQL, bancos de dados relacionais, bancos orientados a documento e armazenamento de arquivo; Arquiteturas diversas de processamento (filas, jobs, workers, functions... etc); Ferramentas de deploy, versionamento de código e infraestrutura na nuvem; Ser capaz de criar fluxos de execução paralela ou concorrente de processamento, assim como execução distribuída quando aplicável; Saber interagir de forma técnica e não-técnica com outros membros da equipe e com pessoas de outras áreas. Diferenciais: Dremio/Athena/AWS Glue Catalog; Ferramenta DBT (Data Build Tool da Fishtown Analytics); Amundsen; Processos de dados envolvendo CDC (Change Data Capture); Terraform; Prometheus/Grafana; Kubernetes/AWS ECS/AWS EKS; PostgreSQL, MongoDB, ElasticSearch, DynamoDB; Java/Scala; Jenkins; Inglês. BENEFÍCIOS DA VAGA Plano de Saúde; Plano Odontológico; VR; VA; Home Office.

No description available

No description available

X(twitter) bot that runs on Lambda and auto-triggers everyday. all infra is deployed with IaC and CI/CD pipeline is setup with Github Actions.

Sample .NET 6 Minimal API, with a GitHub Actions pipeline and AWS CDK infra to package it up and deploy as a Docker container-based Lambda function

Marketplace events pipeline: TypeScript + Pulumi for infra; Python for app logic. AWS SQS FIFO + Lambda ingests marketplace API events into the queue; bench marketplace-poll worker consumes from SQS.