„Софтуерен паяк“ е безпилотна програма, управлявана от търсачка, която сърфира в мрежата точно както бихте направили. Докато посещава всеки уеб сайт, той записва (записва на твърдия си диск) всички думи на всеки сайт и отбелязва всяка връзка към други сайтове. След това „щраква“ върху връзка и след това отива за четене, индексиране и съхраняване на друг уеб сайт.
Софтуерният паяк често чете и след това индексира целия текст на всеки уеб сайт, който посещава, в основната база данни на търсачката, за която работи. Напоследък много двигатели като AltaVista започнаха да индексират само до определен брой страници на даден сайт, често около 500, и след това да спират. Очевидно това е така, защото мрежата е станала толкова голяма, че е невъзможно да се индексира всичко. Колко страници ще индексира паякът, не е напълно предсказуемо. Затова е добра идея да изпратите специално всяка важна страница в сайта си, която искате да бъде индексирана, като например тези, които съдържат важни ключови думи.
Софтуерният паяк е като електронен библиотекар, който изрязва съдържанието на всяка книга във всяка библиотека по света, сортира ги в гигантски главен индекс и след това изгражда електронна библиография, която съхранява информация, в кои текстове се посочват други текстове. Някои софтуерни паяци могат да индексират повече от един милион документи на ден! Важно е да се разбере, че паяците на търсачките правят само две неща:
- Те индексират текста.
- Те следват връзки.
На неотдавнашна конференция за стратегии за търсачки, организирана от SearchEngineWatch.com, един от гост-лекторите, Шари Туров от Grantastic Designs, направи това и го повтори няколко пъти, за да илюстрира значението му: „Търсачките индексират текста и следват връзки. Те индексират текста и следват връзки. Това е всичко, което правят.
Нейната теза е важна и основна за разбирането на същността на паяците на търсачките. Ако текстът на вашия уеб сайт се съдържа в графика, търсачките не могат да го индексират. Ако всички ваши важни ключови думи, за които се надявате да постигнете класиране, са включени в графиката, а не в HTML текста, вашият сайт няма да постигне класиране. Не забравяйте, че търсачките не индексират снимки и не четат снимки, те индексират текст и следват връзки. Това е всичко. Ако нямате текст на видимата си страница, никакво количество ключови думи в метаметката на ключовите Ви думи няма да ви помогнат да постигнете класиране.
Това, което паякът вижда на вашия сайт, ще определи как вашият сайт е включен в неговия индекс. Търсачките определят уместността на даден сайт въз основа на сложна система за точкуване, която търсачките се опитват да запазят в тайна. Тази система добавя или изважда точки въз основа на такива неща като колко пъти ключовата дума се е появила на страницата, къде на страницата се е появила и колко общо думи са били намерени. Страниците, които постигат най-много точки, се връщат в горната част на резултатите от търсенето; останалите са погребани на дъното, никога да не бъдат намерени.
Докато софтуерният паяк посещава вашия сайт, той отбелязва всички връзки на вашата страница към други сайтове. Във обширната база данни на всяка търсачка се записват всички връзки между сайтовете. Търсачката знае към кои сайтове сте свързали и по-важно кои са свързани към вас. Много двигатели дори ще използват броя на връзките към вашия сайт като показател за популярност и след това ще увеличат класирането ви въз основа на този фактор.
Авторско право © 2000 iProspect.com
