Peb
Oczywiście jeżeli nie zabraknie nam dostępnej przestrzeni dyskowej. Budując duży serwis WWW, na pewno docenimy przydatność funkcji catch-all. Jej działanie polega na przechwytywaniu wszystkich nieprawidłowo wprowadzonych adresów WWW i przekierowywanie przeglądarki we wskazane w konfiguracji serwera miejsce, najczęściej będące stroną główną serwisu. W ten sposób każdy, kto wpisze adres coś.kowalski.pl, zostanie przekierowany na stronę kowalski.pl, o ile właściciel serwera właśnie w ten sposób skonfiguruje zachowanie funkcji catch-all..Kreator umożliwi nam przygotowanie prostej strony WWW (wizytówki) w kilka minut. Niektórzy dostawcy w ramach serwera WWW udostępniają gotowe elementy stron internetowych. Do najpopularniejszych należą skrypty obsługi formularzy, mechanizmy wyszukiwania, księgi gości, moduły przekierowań na inne strony oraz liczniki odwiedzin. Dzięki temu nie musimy szukać w Internecie gotowych skryptów do zainstalowania na serwerze ani tym bardziej pisać ich samodzielnie.
W celu odnalezienia nowych stron wykorzystują linki znajdujące sie na stronach, które już znalazły. Jaka jest między nimi różnica? Roboty czytają tylko linki znajdujące się na znalezionych stronach i na ich podstawie tworzą hierarchiczną strukturę drzewiastą. Pająki czytają całą treść strony, czyli tytuł, linki, treść dokumentu oraz tzw. meta-tags. Metacrawlers natomiast zamiast odwiedzać miliardy ston internetowych, pobierają informacje z istniejących wyszukiwarek, co znacznie przyspiesza proces wyszukiwania. Rankingi peb w jaki sposób tworzony jest wynik wyszukiwania (kolejność wyświetlanych linków) zależy od wewnętrznych mechanizmów wysukiwarek. Pannica niezwruszona ciekawie stwierdza twarde wierszyki.