Contents
    Scraping Pencarian Google Dengan Python dan Beautifulsoup4

    Scraping Pencarian Google Dengan Python dan Beautifulsoup4

    Belajar cara melakukan Scraping Google dan mengoptimalkan pencarian menggunakan operator pencarian google

    Posted by Jagad on April 18, 2022
    -- views

    2 min read

    Pengantar

    Scraping web adalah teknik untuk memperoleh data yang dapat digunakan untuk tujuan tertentu. Intinya website berisi data yang banyak, jika ingin mendapatkan data tersebut maka salah satu caranya adalah dengan web scraping.

    Dalam posting ini, kami akan mencoba scraping url Google dan mempelajari cara mengoptimalkan pencarian menggunakan operator pencarian Google.

    Meme

    Source Image: Automating Social Media Contests with Web Scraping | by Jason Yip | Towards Data Science

    Penginstalan

    Kloning repositori dengan menjalankan perintah berikut:

    $ git clone https://github.com/jagadyudha/google-scraper
    

    Instalasi library yang diperlukan dengan menjalankan perintah berikut:

    # Python3
    $ pip3 install -r requirements.txt
    
    # or
    
    # Python2
    $ pip install -r requirements.txt
    

    Sebelum kita masuk ke cara menjalankan proyek, kita perlu tahu cara kerja proyek ini.

    1. Identifikasi url pencarian google
    2. Kumpulkan data dari url
    3. Temukan tag div dengan class g
    4. TEMUKAN tag a di dalam class yang kita temukan di langkah 3

    Cara Menjalankan Proyek

    Untuk menjalankan kodenya cukup sederhana. Cukup tulis perintah berikut:

    # Python3
    $ python3 main.py
    
    # or
    
    # Python2
    $ python main.py
    

    Halaman input dan data input akan ditampilkan setelah menjalankan perintah di atas.

    Halaman input adalah jumlah halaman Google yang ingin Anda kikis, sedangkan data input adalah kata kunci yang ingin Anda cari.

    Output

    mengoptimalkan pencarian dengan operator pencarian Google

    Operator pencarian Google sering digunakan untuk menemukan informasi yang spesifik, memungkinkan hasil pencarian yang akurat bahkan ketika informasi tersebut sulit untuk dilacak.

    Kita juga dapat menggunakan operator pencarian Google dalam proyek ini. Sebagai contoh, saya akan mencari file pdf dengan kata kunci learning Python.

    Jadi, saya akan mencari dengan kata kunci filetype:pdf intext:learning Python

    mengoptimalkan pencarian dengan operator pencarian Google

    Sayangnya, jika Anda terlalu sering menggunakan Operator Penelusuran Google, hal tersebut dapat memunculkan captcha.

    menggunakan google operator terlalu sering

    Cheat Sheet Operator Penelusuran Google

    Sebelumnya saya sudah memberikan contoh penggunaan Google Search Operators. Untuk lebih jelasnya, Anda dapat melihat cheat sheet berikut: Google Search Operators Cheat Sheet (notion.site)

    Kesimpulan

    Dengan bantuan alat ini, kita dapat melakukan scraping secara otomatis tanpa perlu menyalin URL satu per satu. Namun, ada masalah yang belum terpecahkan dengan captcha saat menggunakannya terlalu sering.


    Post Reactions
    LIKE
    LOVE
    Wow
    YAY
    Contributors

    The writing on this website may contain errors in grammar, punctuation, etc. Please make a contribution here