Artikel.2 (Pengenalan BeautfulSoup dan Requests)

Nama : Na'imah 
Nim   : 1120101838
Kelas : SP3.1

Web Scraping Part 2 : Tutorial Web Scraping dengan BeautifulSoup di Python

Pada artikel pertama yaitu pengenalan web scraping dengan BeautifulSoup di Python telah dijelaskan konsep dasar dari library BeautifulSoup dan Struktur web http://quotes.toscrape.com/

Struktur Web http://quotes.toscrape.com/

 

Scraping Single Quote

Untuk permulaan kita akan coba scrape data dari satu quote yaitu quote pertama dari Albert Einstein

Dibutuhkan library requests untuk mengambil halaman website yang akan di-scraping

import requests

Kemudian kita gunakan fungsi get() dengan parameter alamat website

requests.get("http://quotes.toscrape.com/")

Kita cek status_code jika hasil yang dikeluarkan adalah <Response [200]> berarti koneksi sukses

Sedangkan untuk mengambil halaman HTML yang diakses kita gunakan properti content

Berikut adalah potongan kode penggunaan library request

import requests

page = requests.get("http://quotes.toscrape.com/")

print(page.status_code)

print(page.content)

 

Ekstrak Halaman dengan BeautifulSoup

Selanjutnya gunakan library BeautifulSoup untuk mengambil element HTML yang ingin disimpan seperti konten quote, author, tag dengan menggunakan class attribut di kode HTML.

Setelah mengetahui class attribut gunakan fungsi find() atau find_all() untuk mengekstrak konten dari halaman website

BeautifulSoup memanfaatkan atribut class / id untuk mengambil data dari halaman web.

Untuk mengetahui class attribut dari elemen yang ingin diekstrak gunakan tool inspect element di browser sepert pada materi part 1

#1 Quote

Inspect quote pertama dari Albert Einstein dan dapatkan nama class yang digunakan

Tag yang digunakan adalah <span> dengan nama classs text

Gunakan library BeautifulSoup dengan fungsi find() untuk mengekstrak quote pertama

from bs4 import BeautifulSoup

 

import requests

page = requests.get("http://quotes.toscrape.com/")

soup = BeautifulSoup(page.content, 'html.parser')

quote = soup.find('span', class_='text')

print(quote)

 

Jika hanya ingin mengambil quote saja tanpa tag HTML tambarkan properti text di akhir fungsi find()seperti ini

quote = soup.find('span', class_='text').text

#2 Author

Tag yang digunakan untuk Author adalah <small> dengan nama class author

 

author = soup.find('small', class_='author')

print(author)

 
#3 Tags

Dan terakhir adalah tags dari quote

Untuk element tags agak sedikit lebih rumit karena setiap tags diapit oleh <a> yang berada di dalam <div> sehingga tags harus disimpan ke dalam List

Dibutuhkan fungsi find() untuk mengambil konten <div> dan fungsi find_all() untuk mengambil isi dari <a>

Tambahkan kode berikut untuk mengambil text dari tags yang disimpan ke dalam List

 

tags = [tag.text for tag in soup.find('div', class_='tags').find_all('a', class_='tag')]

print(tags)

 

Final Code

Berikut adalah final code untuk scraping single quote

from bs4 import BeautifulSoup
import requests
page = requests.get("http://quotes.toscrape.com/")
soup = BeautifulSoup(page.content, 'html.parser')
quote = soup.find('span', class_='text').text
author = soup.find('small', class_='author').text
tags = [tag.text for tag in soup.find('div', class_='tags').find_all('a', class_='tag')]
print(quote)
print(author)

print(tags)

Komentar

Posting Komentar

Postingan populer dari blog ini

Scrape Data Shopee Menggunakan Python

Gambar
Blog kali ini, saya akan membahas web scrapping pada salah satu situs online shop yaitu shopee. Data Scrapping merupakan kegiatan untuk menemukan data dan mengumpulkannya. Data diambil secara langsung dari sebuah sumber, tidak hanya dari web tetapi bisa dari berbagai sumber dimana terdapat data. Ini mencakup spreadsheets, storage devices, dll. Proses ini diperlukan untuk menyaring (filtering) dan membedakan berbagai jenis data mentah dari berbagai sumber menjadi sesuatu yang berguna dan informatif. Sedangkan web scrapping sendiri merupakan proses data scrapping yang dilakukan hanya dari sumber website.Web scrapping ini sangat berguna pada bisnis online baik itu untuk riset pasar, riset kompetitor, atau mencari leads. Namun, manfaatnya lebih dari sekedar itu. Pada artikel kali ini saya akan membahas langkah-langkah web scraping pada salah satu website online shop yang cukup terkenal yaitu shopee. Untuk melakukan web scraping pada situs shopee ini kita akan menggunakan bahasa pemrograman...
Baca selengkapnya

Program Kasir Sederhana Menggunakan PYTHON

 Dikesempatan kali ini saya akan membahas cara membuat program kasir sederhana. Berikut Source Codenya: #menu =  ["Makanan ","Minuman","Snack"] Rumah_makan = "y" #While digunakan untuk melakukan perulangan while Rumah_makan == "y" :     print ( "======================" )     print ( "         Menu         " )     print ( "======================" )     print ( "        Makanan       " )     print ( "        Minuman       " )     print ( "         Snack        " )     print ( "======================" )     menu = input ( "Pilih menu: " )     if menu == "makanan" :         Makanan = [ "Nasi Pecel " , "Ayam Geprek" , "Bakso Aci" ]         print ( Makanan [ 0 ])         print ( M...
Baca selengkapnya

Scrape Data Toko di Tokopedia

Gambar
Halo gusy, kembali lai diblog nana, kali ini kita akan membahas  Scrape Data Toko di Tokopedia. leggo kita simak.  Pertama kalian bisa menbuat tokped.py, Copykan script berikut pada file python baru yang kalian telah buat serta pastikan indentasinya sudah benar agar tidak terjadi error dikarenakan python sangat sensitif terhadap indentasi . import requests import json import os from bs4 import BeautifulSoup as bs class tokopedia ():     def __init__ ( self , namatoko ):         self . tokourl = 'https://tokopedia.com/' + namatoko         self . namatoko = namatoko         self . headerbrowser = {             'User-Agent' : 'Mozilla/5.0 (X11; Linux x86_64; rv:74.0) Gecko/20100101 Firefox/74.0' }         print ( self . tokourl )         self . getid ()     def getid ( self ):         try :   ...
Baca selengkapnya