Python Web Scraping İle Hava Durumu ve İklim Verileri Toplama

Adı : Python Web Scraping İle Hava Durumu ve İklim Verileri Toplama

Python Web Scraping, internet sayfaları üzerinden veri çekmek için kullanılan bir yöntemdir. Bu yöntem, hava durumu ve iklim verileri toplama işlemlerinde sıklıkla kullanılır. Bu yazıda, Python Web Scraping ile hava durumu ve iklim verileri toplama konusunda ayrıntılı bilgi verilecektir.

Hava Durumu ve İklim Verileri Nedir?

Hava durumu, atmosferdeki sıcaklık, nem, rüzgar ve yağmur gibi koşulların anlık durumunu ifade ederken, iklim ise belirli bir bölgenin uzun süreli hava koşullarını ifade eder. Hava durumu ve iklim verileri, özellikle tarım, turizm, inşaat ve enerji sektöründe önemli bir role sahiptir.

Python Web Scraping Nedir?

Python Web Scraping, web sayfaları üzerinden veri çekmek için kullanılan bir yöntemdir. Bu yöntem, web sayfalarındaki verileri çekerek, verilerin analiz edilmesine imkan sağlar. Python dilinde hazırlanan BeautifulSoup ve Selenium gibi iki farklı kütüphane, web scraping işlemlerin gerçekleştirilmesini sağlar.

Python Web Scraping ile Hava Durumu Verileri Toplama

Hava durumu verilerine ulaşmak için kullanabileceğimiz birçok internet sitesi bulunmaktadır. Örneğin, https://www.accuweather.com/tr/tr/istanbul/318251/weather-forecast/318251 adresinde yer alan İstanbul hava durumu bilgilerini Python Web Scraping yöntemi ile çekebiliriz.

1) İhtiyacımız olan kütüphaneleri yükleme

Python Web Scraping işlemini gerçekleştirmek için BeautifulSoup ve requests kütüphanelerini kullanacağız. Bu kütüphaneleri yüklemek için aşağıdaki kodları yazabiliriz:

```
pip install beautifulsoup4
pip install requests
```

2) Web sayfasından verileri çekme

Web Scraping işlemine başlamadan önce, hedef web sayfasına bağlanarak sayfanın içeriğini almalıyız. Bunun için Python'un requests kütüphanesini kullanacağız:

```
import requests

page = requests.get(\"https://www.accuweather.com/tr/tr/istanbul/318251/weather-forecast/318251\")
```

İstanbul hava durumu web sayfasının içeriği, page değişkeninde saklanacaktır.


3) Web sayfasının içeriğini HTML formatında pars etme

Web sayfasının içeriğini HTML formatında pars etmek için BeautifulSoup kütüphanesini kullanacağız:

```
from bs4 import BeautifulSoup

soup = BeautifulSoup(page.content, 'html.parser')
```

4) İstenilen verileri seçme

Web sayfasındaki hava durumu bilgilerine ulaşmak için, HTML kodlarında kullanılan tag adlarını kullanacağız. İstanbul hava durumu web sayfasındaki etiketler şu şekildedir:

- h1 tagı \"Bölgesel Hava Durumu\"
- div tagı \"cur-con-weather-card__cta\"
- span tagı \"large-temp\"

Bu etiketleri kullanarak Python kodunu şu şekilde yazabiliriz:

```
hava_durumu = soup.find('h1', class_='title').text
derece = soup.find('div', class_='cur-con-weather-card__cta').find('span', class_='large-temp').text

print(hava_durumu)
print(derece)
```

Yukarıdaki kodu çalıştırdığımızda, hava durumu web sayfasındaki en son bilgiler elde edilecektir.

Python Web Scraping ile İklim Verileri Toplama:

İklim verilerine ulaşmak için, https://en.tutiempo.net/climate adresini kullanabiliriz. Bu web sitesi, belirli bir bölgenin tarih aralığına göre ortalama iklim verilerini sağlar.

1) İhtiyacımız olan kütüphaneleri yükleme

Python Web Scraping işlemini gerçekleştirmek için BeautifulSoup ve Pandas kütüphanelerini kullanacağız. Bu kütüphaneleri yüklemek için aşağıdaki kodları yazabiliriz:

```
pip install beautifulsoup4
pip install pandas
```

2) Web sayfasından verileri çekme

Web Scraping işlemine başlamadan önce, hedef web sayfasına bağlanarak sayfanın içeriğini almalıyız. Bunun için Python'un requests kütüphanesini kullanacağız:

```
import requests

url = 'https://en.tutiempo.net/climate/01-2009/ws-170760.html'
page = requests.get(url)
```

3) Web sayfasının içeriğini HTML formatında pars etme

Web sayfasının içeriğini HTML formatında pars etmek için BeautifulSoup kütüphanesini kullanacağız:

```
from bs4 import BeautifulSoup

soup = BeautifulSoup(page.content, 'html.parser')
```

4) İstenilen verileri seçme

İklim verilerine ulaşmak için, verilerin bulunduğu tablolarda kullanılan etiketleri kullanmalıyız. Bu örnekte, ortalama sıcaklık ve ortalama yağış verilerini çekmek için şu etiketleri kullanacağız:

- table tagı \"medias mensuales numspan\"
- td tagları \"m_max\", \"m_min\", \"m_rain\"

Bu etiketleri kullanarak Python kodunu şu şekilde yazabiliriz:

```
table = soup.find_all('table', class_='medias mensuales numspan')[0]

datelist = []
temp_list = []
rain_list = []

for tr in table.tbody.find_all('tr')[1:]:
tds = tr.find_all('td')
datelist.append(tds[0].text)

temp = float(tds[1].text.replace(\",\", \".\"))
temp_list.append(temp)

rain = tds[10].text.replace(\",\", \".\")
rain = float(rain) if rain != \"-\" else 0
rain_list.append(rain)

data = {
\"Tarih\": datelist,
\"Ortalama Sıcaklık\": temp_list,
\"Ortalama Yağış\": rain_list
}

import pandas as pd

df = pd.DataFrame(data)
print(df.head())
```

Python kodunu çalıştırdığımızda, belirtilen tarih aralığının ortalama sıcaklık ve yağış verileri elde edilecektir.

Sık Sorulan Sorular:

Q: Hangi web sitelerinden hava durumu ve iklim verilerine erişebilirim?
A: AccuWeather, Weather.com, Climate.gov, WorldWeatherOnline gibi birçok web sitesi hava durumu ve iklim verileri sağlamaktadır.

Q: Web Scraping işleminde hangi kütüphaneleri kullanabilirim?
A: BeautifulSoup ve Selenium gibi kütüphaneler web scraping işlemlerinde sıklıkla kullanılır.

Q: Hangi programlama dilleri ile Web Scraping yapabilirim?
A: Python, Ruby, Java ve PHP gibi birçok programlama dili ile Web Scraping işlemleri gerçekleştirilebilir.

Q: Web Scraping işlemleri yasal mıdır?
A: Web Scraping işlemleri, web sitesinin kullanım şartlarını ihlal etmediği sürece yasaldır. Ancak, bazı durumlarda web sitesi sahibinin izni gerekebilir. Bu konuda dikkatli olunması tavsiye edilir."