İndeksləmə bir axtarış robotu tərəfindən bir İnternet qaynağında yerləşən faylların taranmasıdır. Bu prosedur, saytın axtarış sistemindəki müxtəlif sorğular üçün axtarış nəticələrində mövcud olması üçün həyata keçirilir. Bu gün ən böyük axtarış motorları arasında bu taramayı öz qaydasında aparan Yandex var.
Təlimat
Addım 1
İnternet saytının indeksləşdirilməsi xüsusi avtomatik proqramlar - World Wide Web-də yeni saytların görünüşünü avtomatik olaraq izləyən, İnternetdə yerləşən İnternet səhifələrini, faylları və onlara hər linkdə olan bağlantıları daim skan edən avtomatik axtarış robotları tərəfindən həyata keçirilir.
Addım 2
Taramaq üçün robot, müəyyən bir serverdə mənbənin yerləşdiyi qovluğa gedir. Yeni bir sayt seçərkən robot mövcudluğu ilə idarə olunur. Məsələn, Yandex-in əvvəlcə rus dilində və rus dilində - ru, rf, su və ya ua-da yaradılan saytları taradığına və yalnız bundan sonra digər bölgələrə keçdiyinə dair bir fikir var.
Addım 3
Robot sayta gedir və quruluşunu tarar, əvvəlcə daha çox axtarışa işarə edən faylları axtarar. Məsələn, bir sayt Sitemap.xml və ya robots.txt üçün taranır. Bu fayllar tarama zamanı axtarış robotunun davranışını təyin etmək üçün istifadə edilə bilər. Sayt xəritəsini (sitemap.xml) istifadə edərək robot mənbənin strukturu barədə daha dəqiq bir fikir əldə edir. Veb müdiri axtarış nəticələrində göstərilməsini istəmədiyi sənədləri təyin etmək üçün robots.txt istifadə edir. Məsələn, şəxsi məlumat və ya digər istənməyən məlumatlar ola bilər.
Addım 4
Bu iki sənədi taradıqdan və lazımi təlimatları aldıqdan sonra robot HTML kodunu təhlil etməyə və alınan etiketləri emal etməyə başlayır. Varsayılan olaraq, robots.txt faylı olmadıqda, axtarış sistemi serverdə saxlanılan bütün sənədləri emal etməyə başlayır.
Addım 5
Sənədlərdəki bağlantıları tıklayaraq robot, bu mənbədən sonra tarama üçün növbədə olan digər saytlar haqqında da məlumat alır. Saytda skan edilmiş sənədlər mətn surəti və Yandex məlumat mərkəzlərindəki serverlərdə quruluş olaraq qeyd olunur.
Addım 6
Yenidən tarama ehtiyacı da robotlar tərəfindən avtomatik olaraq təyin olunur. Proqram, yenidən tarama keçdikdə mövcud tarama nəticəsini saytın yenilənmiş versiyası ilə müqayisə edir. Proqram tərəfindən alınan məlumatlar fərqli olarsa, saytın surəti Yandex serverində də yenilənir.
