Python ile Web Scraping (BeautifulSoup)

Web Scraping Nedir?

Web scraping, web sitelerinden veri toplama işlemidir. Genellikle, bir web sayfasındaki belirli bilgileri almak için kullanılır. Python, web scraping işlemleri için güçlü kütüphanelere sahiptir. Bunlardan biri de BeautifulSoup'dur. BeautifulSoup, HTML ve XML dosyalarını kolayca analiz etmeyi sağlar. Bu makalede, Python ile BeautifulSoup kullanarak web scraping gerçekleştireceğiz.

BeautifulSoup ile Başlarken

BeautifulSoup kullanmak için önce kütüphaneyi yüklememiz gerekiyor. Python ortamında BeautifulSoup'u yüklemek için aşağıdaki komutu kullanabilirsiniz:

pip install beautifulsoup4

Kurulumdan sonra, bir web sitesinden veri çekmek için requests kütüphanesini de kullanmamız gerekecek. Örneğin, bir web sayfasının içeriğini çekmek için aşağıdaki kodu kullanabilirsiniz:

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

Veri Çekme İşlemi

Artık web sayfasının HTML içeriğini aldığımıza göre, belirli elemanları çekmeye hazırız. Örneğin, <h1> etiketindeki başlığı elde etmek için aşağıdaki kodu kullanabiliriz:

title = soup.find('h1').text
print(title)

Bu işlem, sayfadaki <h1> etiketinin içeriğini alır ve ekrana yazdırır. BeautifulSoup ile sayfadaki bağlantılar, paragraflar ve diğer etiketlerle ilgili de işlemler yapabiliriz. Örneğin, tüm bağlantıları almak için:

for link in soup.find_all('a'):
    print(link.get('href'))

Sonuç

Python ile BeautifulSoup kütüphanesi kullanarak web scraping yapmak oldukça basittir. Bu makalede temel bir örnek üzerinden geçtik. Web scraping, veri analizi, fiyat takibi gibi pek çok alanda işinize yarayabilir. Ancak, her zaman hedef web siteinin kullanım şartlarını okuyun ve veri çekme işlemlerinin izin verilip verilmediğini kontrol edin.