Sisu
Interneti otsijad, nagu Google, Yahoo ja Bing, leiavad teavet teiste veebisaitide linkide ja saidikaartide abil. Need otsingumootorid võivad leida mõned kõige ebaselgemad andmed ja lisada need oma indeksisse ning sellist tüüpi otsingutehnoloogial on kasutajatele eelised ja puudused.
Sisevõrgu lehed
Sisevõrgu lehed on veebilehed veebilehtedel, mis vajavad kasutajale mitmeid klikke. Need leheküljed võivad olla tooted, sisu või otsingu andmebaas, mida otsingumootorid tavaliselt ei suuda jälgida. Seda tüüpi tehnoloogia, mis takistab otsingumootori indekseerimist, eeliseks on see, et veebisaitide omanikud võivad sisaldada otsingumootori indeksis sisalduvaid tooteid, ostusid, teavet ja muid olulisi linke. See annab veebisaidi omanikule rohkem nähtavust.
Isikuandmed
Üks otsingumootori puudus, mis indekseerib, on isikuandmete indekseerimine sõltumata privaatsusest. Teavet, nagu turvakoodid, finantsandmed või geograafilised asukohad, saab indekseerida, isegi kui see on postitatud isiklikul veebisaidil. Otsingumootorid pakkusid kasutajatele võimaluse blokeerida mõnda indeksiteavet, kasutades faili "robots.txt". Näiteks sellised otsingumootorid nagu Google lubavad kasutajatel URL-e eemaldada pärast seda, kui saidi omanik on eemaldanud ründava teabe, mis kustutatakse indeksist.
Automaatika
Veebisaitide omanikud võivad oma lehekülgede indekseerida, jättes mõned lingid teisele veebilehele või isegi oma saidile. Seda tava nimetatakse "tagasisideks". Otsingumootorid jälgivad seda funktsiooni kasutavat veebisaiti automaatselt, kes saavad seejärel veebilehte kaardistada ja indekseerida. See lihtsustab veebisaitide omanike olukorda, kuna nad ei pea otsingumootoritele domeeninime esitama. Indeksi automaatika lihtsustab Interneti lugejate otsimist.
