[SYSTEM INFO]
Data Engineer & Backend | Python, Java & SQL | ETL Pipelines | Massive Data Processing | Scalable Systems
Padawan em Engenharia de Dados e Desenvolvimento Backend, com foco em alta performance e processamento massivo. Minha expertise reside em converter volumes críticos de dados brutos (Big Data) em ativos estratégicos através de automação robusta, arquitetura SQL otimizada e concorrência avançada.
- 🚀 Foco Atual: Processamento de bases críticas (CNPJ/Receita Federal) e arquitetura de integração via Webhooks.
- 🎓 Pós-graduado em Big Data, BI e Analytics.
- 🛠️ Diferencial: Domínio técnico para transitar entre Python e Java, resolvendo gargalos de performance e threads.
Pipeline de ETL para a base completa da Receita Federal (87 milhões de registros).
- Desafio: Ingestão massiva em MySQL com hardware limitado.
- Solução: Implementação de lógica de chunking para otimização de RAM e carga paralela via ThreadPool.
- Impacto: Transformação de gigabytes de dados não estruturados em uma base relacional de alta performance.
Sistema de engajamento automatizado com arquitetura baseada em eventos.
- Tech: Python, Flask, Multithreading.
- Destaque: Gestão de estado thread-safe, persistência de dados e consumo de webhooks em tempo real com segurança via API Keys.
Engine de alta performance em Java para classificação de operadoras.
- Tech: Java (Maven), Multi-threading, Google Libphonenumber.
- Destaque: Processamento paralelo de arquivos CSV gigantescos utilizando a JVM para máxima vazão de dados.
Aplicação Full-Stack para automação e análise de dados da Agência Nacional de Saúde.
- Stack: FastAPI + Vue.js 3.
- Big Data: Parsing de PDFs e processamento de balancetes trimestrais com +3M de linhas.
| Categoria | Tecnologias |
|---|---|
| Data Engineering | Python (Pandas/Numpy) ETL Pipelines Web Scraping Big Data |
| Backend & Concurrency | Java (Maven/Threads) FastAPI Flask Multi-threading |
| Databases | MySQL (Expert/Optimization) PostgreSQL SQL Server |
| BI & Analytics | Power BI Tableau DAX Data Storytelling |
|
Docker Containerization |
JavaScript ES6+, DOM, APIs |
Python AI/ML, Backend |
PHP Server-side |
JAVA Backend |
|
Flask Python Web |
MySQL Relational DB |
PostgreSQL Advanced SQL |
Firebase BaaS |