Axtarış motoru robotu veb səhifələrin taranmasından məsuldur. Proqram avtomatik olaraq bütün saytlardan məlumatları oxuyur və axtarış motorunun özü üçün başa düşülən bir formada qeyd edir, beləliklə sonradan sistem istifadəçi üçün ən uyğun nəticələri göstərəcəkdir.
Funksiyalar
Bütün indeksləşdirilmiş məlumatlar ümumi bir verilənlər bazasında qeyd olunur.
Axtarış robotu, avtomatik olaraq İnternet səhifələrini gəzən, lazımi sənədləri tələb edən və taranan saytların quruluşunu alan bir proqramdır. Robot müstəqil olaraq taranacaq səhifələri seçir. Əksər hallarda taranacaq saytlar təsadüfi seçilir.
Bot növləri
Yanlış işləyən bir robot, şəbəkənin və serverin yükünü əhəmiyyətli dərəcədə artırır və bu da mənbənin əlçatmaz olmasına səbəb ola bilər.
Hər bir axtarış motorunda robotlar adlı bir neçə proqram var. Onların hər biri müəyyən bir funksiyanı yerinə yetirə bilər. Məsələn, Yandex-də bəzi robotlar blogların indeksləşdirilməsi üçün faydalı olacaq RSS xəbər lentlərinin taranmasından məsuldur. Yalnız şəkillər axtaran proqramlar da var. Lakin, ən başlıcası, hər hansı bir axtarış üçün əsas yaradan indeksləmə botudur. Yeniliklər və hadisələr haqqında yenilikləri axtarmaq üçün hazırlanmış köməkçi sürətli robot da var.
Tarama proseduru
Məzmunun sürünməsinin qarşısını almağın başqa bir yolu qeyd paneli vasitəsilə sayta giriş yaratmaqdır.
Saytı ziyarət edərkən, proqram, robots.txt təlimat sənədlərinin mövcudluğunu yoxlayır. Bir sənəd varsa, sənəddə yazılan direktivlərin oxunması başlayır. Robots.txt, saytdakı bəzi səhifələrin və sənədlərin taranmasını qadağan edə bilər və ya əksinə icazə verə bilər.
Tarama prosesi proqramın növündən asılıdır. Bəzən robotlar yalnız səhifə başlıqlarını və bir neçə bənd oxuyurlar. Bəzi hallarda, tarama HTML işarəsindən asılı olaraq sənəd boyunca aparılır və bu da əsas ifadələrin göstərilməsi üçün vasitə ola bilər. Bəzi proqramlar gizli və ya meta etiketlərində ixtisaslaşır.
Siyahıya əlavə olunur
Hər bir veb ustası, axtarış motorunun robots.txt və ya META etiketi vasitəsilə səhifələrin taranmasına mane ola bilər. Ayrıca, sayt yaradıcısı saytı əl ilə indeksləmə növbəsinə əlavə edə bilər, lakin əlavə etmək robotun dərhal istədiyi səhifəni taraması demək deyil. Sıraya bir sayt əlavə etmək üçün axtarış motorları da xüsusi interfeyslər təmin edir. Sayt əlavə etmək indeksləmə prosesini xeyli sürətləndirir. Ayrıca, bir axtarış motorunda sürətli qeydiyyatdan keçmək üçün veb analitik sistemlər, sayt kataloqu və s.
