Web Spidering- ja Web-indeksoijien määrittely

Hämähäkit ovat ohjelmia (tai automatisoituja komentosarjoja), jotka indeksoivat Webiä etsimällä tietoja. Hämähäkit matkustavat verkkosivustojen URL-osoitteiden kautta ja voivat vetää tietoja verkkosivuilta, kuten sähköpostiosoitteista. Hämähäkkejä käytetään myös verkkosivuilla olevien tietojen syöttämiseen hakukoneisiin.

Hämähäkit, joita kutsutaan myös "web-indeksoijiksi", etsivät Webiä, eivätkä kaikki ole ystävällisiä.

Roskapostittajat Spider-sivustot tietojen keräämiseksi

Google, Yahoo! ja muut hakukoneet eivät ole ainoita, jotka ovat kiinnostuneita indeksoimaan verkkosivustoja - niin ovat huijarit ja roskapostittajat.

Roskapostittajat käyttävät hämähäkkejä ja muita automatisoituja työkaluja, jotta he voivat etsiä sähköpostiosoitteita (Internetissä tätä käytäntöä kutsutaan usein "korjuuksi") verkkosivuilla ja käyttää niitä sitten roskapostiluetteloiden luomiseen.

Hämähäkit ovat myös työkalu, jota hakukoneet käyttävät löytääkseen lisätietoja sivustostasi, mutta jotka eivät ole valittuja, sivusto, jossa ei ole ohjeita (tai käyttöoikeuksia) sivustosi indeksoinnista, voi aiheuttaa merkittäviä tietoturvariskejä. Hämähäkit matkustavat seuraamalla linkkejä, ja he ovat hyvin taitavia löytämään linkkejä tietokantoihin, ohjelmatiedostoihin ja muihin tietoihin, joihin et ehkä halua niitä.

Verkkovastaavat voivat katsella lokit nähdäkseen, mitä hämähäkkejä ja muita robotteja on käynyt sivustoissaan. Nämä tiedot auttavat ylläpitäjiä tietämään, kuka indeksoi sivustoaan ja kuinka usein.

Nämä tiedot ovat hyödyllisiä, koska sen avulla ylläpitäjät voivat hienosäätää SEO- ja päivitysrobotitiedostojaan, jotta tietyt robotit voivat indeksoida sivustoaan tulevaisuudessa.

Vihjeitä verkkosivustosi suojaamisesta ei-toivotuilta robottien indeksoijilta

On melko yksinkertainen tapa pitää ei-toivotut indeksoijat sivustossasi. Vaikka et ole huolissasi sivustoosi indeksoivista haittaohjelmista (sähköpostiosoitteen hämmentäminen ei suojaa sinua useimmilta indeksoijilta), sinun on edelleen tarjottava hakukoneille tärkeitä ohjeita.

Kaikkien verkkosivustojen pitäisi olla tiedosto, joka sijaitsee robots.txt-tiedostona. Tämän tiedoston avulla voit ohjata web-indeksoijia, joissa haluat, että ne katsovat hakemistosivuja (ellei toisin mainita tietyn sivun metatiedoissa, joita ei indeksoida), jos ne ovat hakukoneita.

Aivan kuten voit kertoa halutuille indeksoijille, missä haluat niiden selaamisen, voit myös kertoa heille, mihin he eivät voi mennä, ja jopa estää tiettyjä indeksoijia koko sivustostasi.

On tärkeää muistaa, että hyvin kootulla robots.txt-tiedostolla on valtava arvo hakukoneille ja että se voi jopa olla keskeinen tekijä sivuston suorituskyvyn parantamisessa, mutta jotkut robotti indeksoijat jättävät ohjeet edelleen huomiotta. Tästä syystä on tärkeää pitää kaikki ohjelmat, lisäosat ja sovellukset ajan tasalla aina.

Liittyvät artikkelit ja tiedot

Huolimattomiin (roskapostin) tarkoituksiin käytetyn tietojen keräämisen vuoksi vuonna 2003 annettiin lainsäädäntöä, jotta tietyt käytännöt olisivat laittomia. Nämä kuluttajansuojalainsäädännöt kuuluvat vuoden 2003 CAN-SPAM-lain piiriin.

On tärkeää, että otat aikaa lukea CAN-SPAM-säädöstä, jos yrityksesi harjoittaa massa- tai tiedonsiirtoa.

Saat lisätietoja roskapostin torjunnasta ja siitä, miten roskapostittajia käsitellään, ja mitä yrityksen omistaja ei voi tehdä, lukemalla seuraavat artikkelit:

• CAN-SPAM Act 2003
• CAN-SPAM-lain säännöt voittoa tavoittelemattomille yrityksille
• 5 CAN-SPAM-säännöt Pienyritysten omistajien on ymmärrettävä