Desafio Técnico: Web Scraping, Transformação de Dados, Banco de Dados e API

Descrição

Este projeto tem como objetivo resolver um desafio técnico que envolve web scraping, transformação de dados, criação de banco de dados, e desenvolvimento de uma API. O desafio foi dividido em várias etapas, como descrito a seguir:

1. Web Scraping: Baixar e compactar arquivos PDF de um site governamental.
2. Transformação de Dados: Extrair dados de tabelas dentro de PDFs e salvar os dados em formato CSV.
3. Banco de Dados: Criar banco de dados MySQL/MariaDB e importar dados utilizando arquivos CSV.
4. API: Criar uma API com Django que consome dados de banco de dados e expõe endpoints de consulta.

Tecnologias Utilizadas

• Python (para web scraping, transformação de dados e desenvolvimento da API)
• Django (framework web para backend)
• MariaDB (banco de dados relacional)
• BeautifulSoup (para scraping de dados HTML)
• PDFPlumber (para extrair dados de PDFs)
• MySQL/MariaDB (banco de dados)
• Vue.js (para a interface web de consumo da API)
• Postman (para testar os endpoints da API)

Agradecimentos

Gostaria de expressar minha gratidão à Intuitive Care pela oportunidade de trabalhar neste desafio técnico.

Este case foi extremamente enriquecedor, permitindo-me demonstrar e aprimorar minhas habilidades em:

• Web scraping e coleta automatizada de dados
• Processamento e transformação de informações estruturadas
• Modelagem e implementação de banco de dados
• Desenvolvimento de APIs com Django
• Integração completa entre diferentes componentes de sistema

Agradeço especialmente pelo desafio bem elaborado que:

• Permitiu mostrar minha abordagem para soluções técnicas
• Desafiou minha capacidade de integrar diferentes tecnologias

Foi uma excelente experiência de aprendizado e estou aberto a feedbacks para continuar melhorando minhas habilidades.

Samuel Primo
Email | LinkedIn

• Clone o repositório:

  git clone https://github.com/samuelprimo/IntuitiveCare.git
  cd IntuitiveCare