Crawler Si Bot Pencarian


Tugas Softskill

Assalamu’alaikum..

PengertianWeb Crawler

Dalamrangka tugas softskil, kami satu tim yg terdiri berdasarkan 5 orang ditugaskan untuk mencari beberapa ulasanseperti  Analisis Web, Search Engine, Web Archiving,dan Web Crawlers . Untuk Pembahasan yg pertama ini galat satunya yangakan kita bahas merupakan Web Crawler. Mungkin kalian bertanya Tanyasebenernya Web Crawler itu apa sih ? Trus manfaatnya buat apa ? Oke daripada kalian tambah bertanya-tanya, mending langsung aja ya disimak pembahasannya..

WebCrawler bisa juga diklaim sebagai bot pencarian atau spider artinya program yangberfungsi menelusuri web yang ada di dunia maya dan berkunjung ke web-webtersebut atas nama search engine, hasil dari spider ini buat menemukan linkbaru dan laman baru atau website baru. Biasanya pekerjaan bot adalahmengindex dan menyimpan data di database para pemilik botnya.

Tentusaja Web Crawler ini memiliki fungsi pula, nah disini Ada 2 fungsi utama WebCrawler, yaitu :

1.Mengidentifikasikan Hyperlink.
Hyperlinkyang ditemui pada konten akan dibubuhi dalam daftar visit, diklaim jugadengan istilah frontier.

2.Melakukan proses kunjungan/visitsecara rekursif.
Darisetiap Hyperlink, web crawler akanmenjelajahinya dan melakukan proses berulang, dengan ketentuan yg disesuaikandengan keperluan aplikasi. Untuk gambarnya mampu dilihat dibawah :

Lihat Gambar:


ArsitekturWeb Crawler

Cara Kerja Web Crawler

Crawler diawali dengan adanya daftarURL yg akan dikunjungi (seeds). Setelah crawler mengunjungi URL tersebut,kemudian mengidentifikasi semua hyperlink menurut halaman itu dan menambahkankembali ke dalam seeds (Crawl Frontier). Setelah web crawler mengunjungi laman-laman web yg dipengaruhi didalam seeds, maka web crawler membawa data-data yang dicari sang user kemudian menyimpannyake sebuah storage.

Webcrawler dapat dibuat buat mencari keterangan yg berhubungan dengan topictertentu saja. Web crawler yg hanya mengumpulkan topic eksklusif saja disebuttopical web crawler. Web crawler dimulai menggunakan sekumpulan URL, lalu didownload setiap halamannya, menerima link dari setiap page yg dikunjungikemudian mengulangi pulang proses crawling dalam setiap link laman tadi.untuk gambar cara kerjanya lihat dibawah :

Lihat Gambar:


Oke izin kalian tambahngerti kami akan menaruh BeberapaContoh dari Web Crawler, simak ya.. :

          1.Teleport Pro
Salah satu perangkat lunak web crawler untukkeperluan offline browsing, perangkat lunak ini cukup popular, terutama dalam saatkoneksi internet nir semudah serta secepat sekarang. Software ini berbayar danberalamatkan pada //www.tenmax.com/

          dua.HTTrack
Ditulis dengan memakai bahasaPemrograman C, merupakan software yg bisa mendownload konten website menjadisebuah mirror pada harddisk, supaya dapat dicermati secara offline. Yang menarikdari perangkat lunak ini free serta dapat didownload dalam website resminya pada //www.httrack.com .

          tiga.Googlebot
Web crawler untuk membentuk indexpencarian yang dipakai sang search engine google. Jika website Anda ditemukanoleh orang lain melalui Google, bias jadi itu dari Googlebot.

          4.Yahoo! Slurp
Ini merupakan search engine Yahoo,teknologinya dikembangkan oleh Inktomi Corporation yang diakusisi oleh Yahoo!.

          lima.YaCy
Berbeda menggunakan yg lain , YaCydibangun atas prinsip P2P (peer-to-peer), di develop menggunakan java, dandidistribusikan dalam beberapa ratus mesin komputer (YaCy peers). Tiap peer dishare dengan prinsip P2P buat menyebarkan index, sehingga nir memerlukan servercentral. Contoh search engine yg menggunakan YaCy artinya Sciencenet (//sciencenet.fzk.de ), buat pencariandokumen di bidang sains.
Sampaidisini dulu ya pembahasan tentang Web Crawler-nya.. Apabila ada kata-kata yangsalah mohonn dimaafkan.. Nantikan pembahasan lainnya ya tentang Analisis Web,Search Engine, Web Archiving.. Terima kasih... ^^

Tim Kami :

 1. Ayu Amizah                                   ( 51411317 )
 2. Mahdhika Juliansyah                   ( 54411246 )
 tiga. Muhammad Faris Al Fatih          ( 54411827 )
 4. Rachman Aji Putra Kusumaa     ( 58411572 )
 lima. Tio Pratama Agung                      ( 57411119 )

Wassalamu'alaikum...


Baca Juga :


Web Archiving

Popular posts from this blog

Pembagian Persebaran Flora dan Fauna di Indonesia Terbaru

Image
Pembagian Persebaran Flora serta Fauna di Indonesia - Di semua bagian bumi ini beredar banyak sekali jenis flora serta fauna. Keberagaman jenis flora dan fauna ini tersebar diseluruh daerah didunia secara tidak merata. Tetapi persebaran tanaman serta fauna tersebut ditentukan oleh beberapa faktor yang terkait. Faktor umum dalam penyebaran flora serta fauna tadi meliputi faktor syarat tempat flora dan hewan ini tumbuh dan syarat lingkungan kurang lebih loka persebaran flora dan hewan tadi. Faktor ini tergolong kedalam faktor fisik pada pembagian flora dan fauna. Jaman dahulu sebagian bumi hanya diselimuti oleh es dan batas permukaan bahari masih dalam keadaan rendah yaitu pada jaman es, jaman glasial juga jaman pleistosen. Hal tersebut menciptakan beberapa fauna dapat menggunakan mudah bermigrasi berdasarkan satu tempat ketempat lain karena daratan bumi masih bergabung satu sama lain. Setelah jaman silih berganti terjadilah perubahan iklim yang ekstrim membuat sebagian es yang masih a...
Read more

ADZAN IQOMAH DAN DOA SESUDAH ADZAN TERBARU

Image
Lafadzadzan dan iqomah merupakan bacaan yg wajib diketahui. Sebelum kita sholatpasti kita melafalkannya sebagai pertanda bahwa waktu sholat sudah tiba. Begitupunmembaca do'a setelah adzan adalah suatu hal yang baik serta usahakanjangan pernah ditinggal buat dilafalkan supaya pahala kita terus bertambah dankita menerima faedah lain menurut do'a itu. Apabila kita mau membaca do'a setelahadzan secara rutin, akbar kemungkinan nanti akhlak kita akan terbawa menjadiakhlak yg baik menggunakan sendirinya. Berikut ini bacaan adzan, iqomah serta do'a sehabis adzan BacaanAdzan Berikutbacaan lafadz adzan pada bahasa Arab Bacaan lafadz adzan versi latin (Tulisan indonesia) AllahuAkbar Allahu Akbar. (2X) Asyhaduallaa illahaillallah. (2X) Asyhaduanna Muhammadar rasuulullah. (2X) Hayyaalassolaah (2X) Hayyaalalfalaah. (2X) AllahuAkbar Allahu Akbar (1x) Laailahaillallah (1x) Artinya: AllahMaha Besar, Allah Maha Besar. Akumenyaksikan bahwa tiada Tuhan selain Allah. Akumenyaksikan bahwa n...
Read more

Mencari Keliling dan Luas Gabungan Dari Persegi Panjang dan Setengah Lingkaran Terbaru

Image
Untuk menerima keliling campuran dari 2 butir benda, ada konsep yg sahih-sahih wajib dimengerti. Jika tidak, kita akan gagal menerima hasil yg sebenarnya.. Nah, kini kita akan mencoba soal yg herbi masalah seperti ini. Selain keliling, luasnya jua dicari. Soal : 1. Berapakah keliling dan luas berdasarkan bangun dibawah ini? Diketahui : AB = 20 cm AF = 10 cm ED = 14 cm EF = DC Ok, kita cari satu per satu.. Keliling Konsep buat menghitung keliling adalah : Menghitung keliling kita hanya menggunakan sisi yg dibagian luar saja. Tidak boleh menghitung garis yg terletak ditengah-tengah bangun Coba perhatikan lagi gambar diatas, garis yang nir boleh dihitung merupakan garis merah putus-putus DE. Mengapa? Karena garis ini terletak di tengah-tengah bangun yang dicari. Garis yg dipakai merupakan garis lengkung DE yg berwarna biru. Garis ini adalah keliling berdasarkan 1/2 lingkaran, dan disana sudah diketahui diameter menurut lingkarannya 14 cm. Mencari DE Garis lengkung DE = keliling 1/2 lingk...
Read more