José Camacho

Engenheiro de Dados

José Victor Xavier Camacho

Data Engineer na GFT · AWS, Big Data e Infraestrutura como Código

Projeto, construo e otimizo pipelines de dados batch e streaming em AWS e Hadoop: da ingestão ao Data Mesh, com Terraform, CI/CD e testes automatizados.

Ver experiência LinkedIn GitHub Currículo (PDF)
60+contas AWS democratizadas no Data Mesh
200+tabelas disponibilizadas no Data Mesh
940 hde processamento economizadas por ano
4+anos trabalhando com dados

Sobre

Pipelines escaláveis, entregues como código

Sou Engenheiro de Computação pela UTFPR e trabalho com dados desde 2022. Minha experiência inclui projetar, implementar e otimizar pipelines de dados, com base sólida em Big Data (Hadoop, PySpark, Hive) e no ecossistema AWS (Glue, Athena, S3, Lambda, Step Functions, Kinesis), além de bancos relacionais e não relacionais.

Hoje, na GFT, implanto pipelines batch e streaming com Terraform e GitHub Actions e ajudo a transformar dados de dezenas de contas AWS em produtos num Data Mesh. Antes, na TCS, migrei rotinas legadas de SQL Server e SAS para Hadoop e, depois, para AWS Glue.

Fora do trabalho, construo o Órbita Notícias, um pipeline de notícias que opero em produção de ponta a ponta, da ingestão ao serving.

Experiência

Onde trabalhei

Data Engineer · GFT

mai 2024 — atual
  • Implantação de pipelines de dados batch e streaming com Terraform e GitHub Actions.
  • Democratização de mais de 60 contas AWS e mais de 200 tabelas do cliente para o Data Mesh.
  • Criação de um template Terraform para jobs do Glue que ingere dados históricos de tabelas do DynamoDB.
  • Trabalho com múltiplas squads na adoção de templates Terraform para a democratização de dados no Data Mesh.
  • Implantação de pipelines de ingestão via Lambda e snapshots de diversas instâncias do RDS.
  • Terraform
  • GitHub Actions
  • Glue
  • Kinesis
  • Firehose
  • Lambda
  • Step Functions
  • DMS
  • DynamoDB
  • Aurora
  • PostgreSQL
  • MySQL
  • pytest

Data Engineer · Tata Consultancy Services

jul 2022 — abr 2024 · Londrina
  • Migração de rotinas do SQL Server 2008 e SAS para Hadoop (EC2 + EMR), convertendo procedimentos transacionais em pipelines orquestrados pelo Oozie com ETL em HiveQL.
  • Migração de processos ETL/ELT coordenados por código Python on-premises para o ambiente Hadoop na AWS.
  • Pipelines que calculam mais de 10 KPIs de 7 departamentos, antes calculados à mão no Excel.
  • Economia de 940 horas/ano de processamento com a migração do on-premises para Hadoop.
  • Migração de ETLs em Hive para AWS Glue com PySpark.
  • Hadoop
  • Hive
  • PySpark
  • Oozie
  • Cloudera
  • EMR
  • S3
  • Glue
  • Athena
  • SQL Server
  • Alteryx
  • pandas

Estagiário · Tata Consultancy Services

mar 2022 — jun 2022 · Londrina

Formação e certificações

Bacharelado em Engenharia da Computação

Universidade Tecnológica Federal do Paraná (UTFPR), Cornélio Procópio

3º lugar na XIII Feira de Ideias (out 2019) com a ideia "NoQueue"

AWS Certified Cloud Practitioner (2023)

SQL (HackerRank, 2022) · Python (CodinGame, 2022) · Coding Speed: Legend (CodinGame, 2023)

Idiomas: português e inglês

Stack

Ferramentas

Usado profissionalmente ou em produção Em estudo / próximos projetos

Linguagens e processamento

  • Python
  • SQL
  • PySpark
  • HiveQL
  • pandas
  • numpy
  • ETL batch e streaming
  • Alteryx
  • Airflow
  • dbt
  • Kafka

AWS

  • Glue
  • Athena
  • S3
  • Lambda
  • Step Functions
  • Kinesis
  • Firehose
  • DMS
  • EMR
  • EC2
  • RDS / Aurora
  • DynamoDB

Bancos de dados e Big Data

  • PostgreSQL
  • MySQL
  • SQL Server
  • SQLite
  • Hadoop
  • Hive
  • Oozie
  • Cloudera
  • Data Mesh
  • Apache Iceberg

Infraestrutura, DevOps e métodos

  • Terraform
  • GitHub Actions
  • CI/CD
  • pytest
  • Linux
  • nginx
  • Scrum / Kanban
  • Docker

Projeto pessoal

No ar em produção

Órbita Notícias

Comparador de cobertura jornalística. Coleta as manchetes de 42 veículos de todo o espectro político, detecta quais tratam do mesmo acontecimento e mostra, lado a lado, como cada um enquadrou o fato. Projetei, construí e opero o sistema de ponta a ponta.

Pipeline: fontes → ingestão → SQLite → agrupamento → cache → Flask + nginx 42 veículosRSS + sitemap Ingestãovalida · deduplica SQLiteartigos · migrações AgrupamentoTF-IDF + regras Cachepré-computado Flask + nginxcache de 60 s a cada 5 min a cada 15 min worker (systemd) · web (gunicorn)
42fontes ingeridas
5 minintervalo de ingestão
15 minintervalo de reagrupamento
1.130testes automatizados
48 hjanela de comparação
100%precision no corpus rotulado
1 GBservidor de produção
7workflows no GitHub Actions

Destaques de engenharia de dados

  • Ingestão resiliente: RSS com fallback automático para o sitemap de notícias quando o feed congela sem aviso; log de falhas por fonte em JSONL; workflow diário de saúde dos feeds.
  • Migrações de schema como comando: versionadas, com trava e backup antes de cada execução; um script de backfill reconstrói eventos antigos.
  • Camada de serving pré-computada: a etapa pesada (TF-IDF + agrupamento) roda só no worker; a camada web lê um cache pronto e continua no ar se o worker cair.
  • Qualidade medida: corpus rotulado de 192 manchetes, precision/recall/F1 por par e um teste que reprova se a métrica cair abaixo da linha de base.
  • CI/CD: lint, testes, auditoria de dependências, deploy com health check e rollback automático.
  • Python
  • SQLite
  • scikit-learn
  • spaCy
  • Flask
  • nginx
  • systemd
  • GitHub Actions
Ler o estudo de caso Visitar o site

Próximos projetos

O que estou construindo agora

Meu código profissional é privado, então estes projetos públicos mostram o mesmo tipo de trabalho, somados a ferramentas que estou adicionando à minha stack. Cada um terá código público, diagrama de arquitetura e um README explicando as decisões.

Em construção

Lakehouse na AWS como código

Problema
Montar um lake bronze/silver/gold no S3 com tabelas Apache Iceberg, consultado pelo Athena e provisionado inteiro com Terraform.
O que demonstra
Jobs do Glue em PySpark, particionamento e compactação, Glue Data Catalog, CI/CD com GitHub Actions, controle de custos.
  • Terraform
  • Glue
  • Iceberg
  • Athena
Publicado

ELT de dados públicos com Airflow + dbt

Problema
Consolidar indicadores econômicos brasileiros (Banco Central, IBGE) num modelo analítico que se atualiza sozinho.
O que demonstra
Orquestração com retries e backfill, modelagem dimensional (staging → marts), testes e documentação no dbt, cargas incrementais.
  • Airflow
  • dbt
  • PostgreSQL
  • Docker
Ver o painel Código
Em construção

Eventos em streaming com Kafka

Problema
Processar um fluxo de eventos em tempo real (ex.: posição dos ônibus) e disparar alertas quando houver anomalia.
O que demonstra
Producers/consumers, particionamento, agregações em janelas de tempo, entrega at-least-once e sinks idempotentes.
  • Kafka
  • Spark Streaming
  • Python

Contato

Fale comigo

Quer conversar sobre pipelines de dados, AWS ou algum destes projetos? Me chame por e-mail ou pelo LinkedIn.

E-mail LinkedIn GitHub