Skip to content

This project is an end-to-end data science application developed using Global Weather Dataset. It uses Apache Kafka for real-time data streaming and Flask for RESTful APIs. Weather data is streamed from CSV to Kafka and served via a producer-consumer architecture on the DigitalOcean server.”

Notifications You must be signed in to change notification settings

CemRoot/Full-Stack-Data-Science-Application-using-Global-Weather-Dataset

Repository files navigation

🚩 Due to the project change, the project I was working on was transferred to a new project.

Ps: The project currently only works on the Local side.

The project will be updated and shared with you as soon as possible.

Thank you for your understanding.

Global Weather Repository

A detailed project aimed at gathering and showcasing global weather information, such as temperature, air quality, sunrise and sunset times, moon phases, and additional data. This dataset acts as a key resource for research, application development, and weather analysis across various locations worldwide.

Table of Contents


English

Project Overview

Global Weather Repository provides real-time and historical weather data for various global locations, helping users analyze temperature, weather conditions, and air quality at a country and city level. It includes valuable details like the moon phase, sunrise/sunset timings, and weather conditions, making it a versatile dataset for developers, researchers, and data enthusiasts.

Getting Started

Prerequisites

Installation

To clone and set up the project locally:

git clone https://github.com/yourusername/GlobalWeatherRepository.git
cd GlobalWeatherRepository

Project Description

The repository contains weather data from different countries with details such as:

  • Temperature in Celsius and Fahrenheit
  • Weather Condition (e.g., sunny, cloudy or rainy)
  • Astronomical Data like sunrise, sunset, moonrise, and moonset times
  • Moon Phase and Moon Illumination

This data helps in generating insights for weather patterns, environmental studies, and predictive analytics.

Technologies Used

  • Python: For data processing and analysis
  • Pandas: For data manipulation
  • Git: Version control

Task List

  • Dataset Exploration and Justification (5 Marks):
  • Data Processing (20 Marks):
  • Data Analytics and Visualization (20 Marks):
  • Kafka Producer and Consumer for Streaming Data (20 Marks):
  • Database Operations (20 Marks):
  • Streamlit Web Application (20 Marks):

Developer

  • Prepared by: Cem Koyluoglu

Türkçe

Proje Genel Bakış

Global Weather Repository, dünya genelinde çeşitli konumlar için anlık ve geçmiş hava durumu verilerini sunar. Sıcaklık, hava koşulları, hava kalitesi ve ay evreleri gibi detaylar içerir. Geliştiriciler, araştırmacılar ve veri meraklıları için çok yönlü bir veri kümesi sağlar.

Başlarken

Ön Gereksinimler

  • Git: Depoyu klonlamak için gereklidir. Git İndir

Kurulum

Projeyi yerel olarak klonlamak ve kurmak için:

git clone https://github.com/yourusername/GlobalWeatherRepository.git
cd GlobalWeatherRepository

Proje Açıklaması

Bu depo, farklı ülkelerden gelen detaylı hava durumu verilerini içerir:

  • Sıcaklık Celsius ve Fahrenheit cinsinden
  • Hava Koşulu (örneğin, güneşli, bulutlu, çiseleme)
  • Hava Kalitesi İndeksi (PM2.5, PM10, ABD EPA İndeksi, GB DEFRA İndeksi)
  • Astronomik Veriler (gün doğumu, gün batımı, ay doğumu ve ay batımı)
  • Ay Evresi ve Ay Aydınlatması

Bu veri, hava durumu desenleri, çevre çalışmaları ve öngörücü analizler için içgörü sağlar.

Kullanılan Teknolojiler

  • Python: Veri işleme ve analiz için
  • Pandas: Veri manipülasyonu için
  • Git: Versiyon kontrolü için

Görev Listesi

  • Küresel kaynaklardan veri toplama
  • Veri temizleme ve yapılandırma
  • Veri görselleştirme araçlarının hazırlanması
  • Öngörücü analiz için makine öğrenmesi modellerinin entegrasyonu

Yapılacaklar Listesi

  • Tahmin modeli entegrasyonunu gerçekleştirme.
  • Coğrafi haritalama ile veri görselleştirmeyi geliştirme.
  • Gerçek zamanlı hava durumu alımı için API erişimi sağlama.

Geliştirici

  • Hazırlayan: Cem Koyluoglu

About

This project is an end-to-end data science application developed using Global Weather Dataset. It uses Apache Kafka for real-time data streaming and Flask for RESTful APIs. Weather data is streamed from CSV to Kafka and served via a producer-consumer architecture on the DigitalOcean server.”

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published