Penggalian web

Penggalian web adalah suatu kegiatan pengambilan data tertentu secara semi-terstruktur dari sebuah halaman situs web. Halaman tersebut umumnya dibangun menggunakan bahasa markup seperti HTML atau XHTML.

Biasanya teknik ini diterapkan pada sebuah bot agar bisa membuat proses yang harusnya dilakukan secara manual menjadi otomatis. Ketika kita menjumpai sebuah situs yang membatasi kuota (jatah) API (application programming interface) atau bahkan tidak menyediakan sama sekali, maka penggalian web akan sangat dibutuhkan sebagai langkah pengambilan data.

Mengikis halaman web melibatkan ekstraksi halaman web dan kemudian mengekstrak data darinya. Retrieval adalah pemuatan halaman (yang dilakukan browser saat pengguna melihat halaman). Dengan demikian, pemindaian web adalah komponen utama dari web scraping untuk mengekstrak halaman untuk diproses lebih lanjut. Setelah ekstraksi, ekstraksi dapat dilakukan. Konten halaman dapat dianalisis, dicari, dan diformat ulang, serta datanya disalin ke dalam spreadsheet atau diunggah ke database. Web scraper biasanya mengekstrak sesuatu dari sebuah halaman untuk digunakan di tempat lain untuk tujuan lain. Contohnya termasuk menemukan dan menyalin nama dan nomor telepon, perusahaan dan URL atau alamat email mereka ke dalam daftar (penggalian kontak) menggunakan pemindaian web, pengenalan pola, mengumpulkan data dari media sosial dan jaringan profesional, pencarian WHOIS, dan banyak lagi.

Selain mengumpulkan kontak, pengumpulan data web digunakan sebagai komponen aplikasi yang digunakan untuk pengindeksan web, penambangan web dan penambangan data, pemantauan perubahan harga dan perbandingan harga secara online, mengumpulkan ulasan produk (untuk memantau pesaing), mengumpulkan daftar real estat, memantau data cuaca, mendeteksi perubahan situs web, penelitian, melacak keberadaan dan reputasi web, penggabungan web, dan integrasi data web.

Halaman web dibuat menggunakan bahasa markup berbasis teks (HTML dan XHTML) dan sering kali berisi banyak data yang berguna dalam bentuk teks. Namun, sebagian besar halaman web dirancang untuk pengguna akhir, bukan untuk kemudahan penggunaan otomatis. Sebagai hasilnya, alat dan perangkat lunak khusus telah dikembangkan untuk memfasilitasi penguraian halaman web. Aplikasi penguraian halaman web termasuk riset pasar, perbandingan harga, pemantauan konten, dan banyak lagi. Perusahaan mengandalkan layanan penguraian halaman web untuk mengumpulkan dan memanfaatkan data ini secara efisien.