From 7a02cbf78e7f102214ca6406b7311e0cd8443d6d Mon Sep 17 00:00:00 2001 From: damarcones Date: Mon, 5 Jun 2023 17:04:46 -0300 Subject: [PATCH] Adicionando tutorial para converter arquivos json em dataFrame --- .../tutorial_json_to_dataFrame.ipynb | 139 ++++++++++++++++++ 1 file changed, 139 insertions(+) create mode 100644 basico_pandas/tutorial_json_to_dataFrame.ipynb diff --git a/basico_pandas/tutorial_json_to_dataFrame.ipynb b/basico_pandas/tutorial_json_to_dataFrame.ipynb new file mode 100644 index 0000000..ac4bf4d --- /dev/null +++ b/basico_pandas/tutorial_json_to_dataFrame.ipynb @@ -0,0 +1,139 @@ +{ + "cells": [ + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Código executado no jupyter notebook." + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Importando as blibiotecas necessárias." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [ + "import pandas as pd\n", + "import requests as rq" + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Buscando arquivo json na base de dados do Governo Federal." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [ + "arquivoJson = rq.get(\"https://compras.dados.gov.br/fornecedores/v1/cnaes.json?descricao=CULTIVO\").json()" + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Imprimindo na tela as informações contidas no json." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [ + "arquivoJson" + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Normalizando o arquivo json para transforma-lo em DataFrame, indicando o caminho dos dados que necessitamos, caso não ocorra essa indicação, todas as informações ficaram contidas em uma única linha do DataFrame. Imrpimindo o novo DataFrame para verificar as informações." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [ + "df = pd.json_normalize(arquivoJson[\"_embedded\"][\"cnaes\"])\n", + "df.head()" + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Excluindo colunas que não são relevantes para o DataFrame e imprimindo o novo DataFrame limpo." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [ + "df = df.drop(columns=[\"_links.self.href\",\"_links.self.title\", \"_links.fornecedores.href\", \"_links.fornecedores.title\"])\n", + "df.head()" + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Salvando o DataFrame em arquivo CSV sem utilizar index." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [ + "df.to_csv(\"meuArquivo.csv\",index = False)" + ] + } + ], + "metadata": { + "kernelspec": { + "display_name": "Python 3", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.10.6" + }, + "orig_nbformat": 4 + }, + "nbformat": 4, + "nbformat_minor": 2 +}