Süvaveeb
Süvaveeb[1] ehk nähtamatu veeb[2] ehk peidetud veeb[3] on World Wide Webi osa, mida standardsed otsingumootorid ei indekseeri. Selle vastand on pinnaveeb, mis on kättesaadav kõikidele Interneti kasutajatele.[4] Süvaveebi (inglise keeles deep web) termini võttis 2001. aastal kasutusele arvutiteadlane Michael K. Bergman oma internetiuuringute käigus.[5]
Süvaveebi sisu on peidetud HTTP vormidega[küsitav],[6][7] sisaldades väga paljusid tavakasutuse valdkondi, nagu näiteks veebimeil, internetipangandus, privaatse või piiratud kasutusega sotsiaalmeedialehed ja -profiilid, veebifoorumid, mille sisu nägemiseks tuleb registreeruda, ja tasulised teenused, mis on kaitstud nn maksumüüridega, nagu tellimusvideod ja ka mõned ajalehed ja ajakirjad.
Süvaveebi sisu ei saa otsida ja sellele pole võimalik ligi pääseda lihtsalt URL-i või IP-aadressiga, vaid ligipääs vajab kas parooli või teist turvalist pääsuteed, et mööduda avalikest veebilehtedest.
Terminid
Esimest korda hakati kasutama sõna "süvaveeb" koos sõnaga "tumeveeb" 2009. aastal, kui süvaveebi otsingu terminoloogiat seostati illegaalsete tegevustega vabavõrgus (freenet) või pimevõrgus (darknet).[8]
Samal aastal, pärast Silk Roadi musta turu kajastamist meedias,[9][10] hakkasid paljud inimesed "süvaveebi" ja "tumeveebi" sünonüümideks pidama. Kuigi see samastamine on väär[11], aetakse neid sõnu jätkuvalt omavahel tihti segamini.[12] Kui süvaveebi näol on tegemist igasuguse sellise veebilehega, mis ei ole tavaliste otsingumootoritega ligipääsetav, siis tumeveeb kujutab endast süvaveebi sügavaimat osa, mis on ligipääsmatu ja peidetud standardsete veebibrauserite ja meetodite eest.[13][14][15][16][17]
Indekseerimata sisu
Ajakirjas The Journal of Electronic Publishing kirjutas Michael Bergman, et Jill Ellsworth kasutas terminit "nähtamatu veeb" 1994. aastal, kirjeldamaks lehekülgi, mis ei ole registreeritavad ühegi otsingumootoriga.[18] Bergman tsiteeris Frank Garcia 1996. aasta jaanuaris avaldatud artiklit:[19]
"See võib olla sait, mis on tõenäoliselt mõistlikult kavandatud, kuid seda pole vaevutud registreerima üheski otsingumootoris. Seega keegi ei leia neid! Sa oled peidus. Ma nimetan seda nähtamatuks veebiks."
Teine termini "nähtamatu veeb" varajane kasutus esineb 1996. aasta detsembri pressiteates, kus Bruce Mount ja Matthew B. Koll kasutasid Personal Library Software tarkvara, et kirjeldada #1 tumeveebi tööriista.[20]
Esimest korda kasutati "süvaveebi" kui spetsiifilist terminit eelpool mainitud Bergmani 2001. aasta uuringus. [18]
Indekseerimist ära hoidvad meetodid
Meetodid, mille abil välditakse veebilehtede indekseerimist tavaliste otsingumootorite poolt:
- Kontekstuaalne võrk – veebilehed, mille sisu varieerub erinevates juurdepääsu kontekstides.
- Dünaamiline sisu – dünaamilised leheküljed, mis ilmuvad alles päringu esitamisel või on juurdepääsetavad ainult läbi vormi, eriti kui kasutatakse avatud domeeni sisendelemente (tekstiväljad); selliseid välju on keeruline navigeerida ilma domeeni tundmata.
- Piiratud juurdepääsuga sisu – saidid, mis piiravad sisule juurdepääsu tehniliste viisidega (CAPTCHA, robotilõksud)
- Mitte-HTML / tekstisisu – tekstisisu on kodeeritud multimeedia failidesse (pilt või video) või spetsiifilistesse otsingumootorite poolt leidmatutesse failivormingutesse.
- Eravõrk – saidid, mis nõuavad registreerumist ja sisselogimist.
- Skriptitud sisu – lehed, mis on juurdepääsetavad ainult JavaScripti abil loodud linkide kaudu. Samuti veebiserveritest dünaamiliselt allalaaditud sisu Flashi või Ajaxi programmi lahendustega.
- Tarkvara – kindel sisu on tahtlikult peidetud tavainterneti eest ja ligipääsetav ainult eriprogrammidega (Tor, I2P). Näiteks Tor lubab kasutajal anonüümselt siseneda .onion domeeniga lehtedele, peites IP-aadressi.
- Linkimata sisu – lehed, mis ei ole lingitud teiste lehtede poolt, et vältida ämblikotsingut kasutavate programmide kättesaadavust sisule (veebilehed ilma taustalinkideta). Otsingumootorid ei tuvasta alati ka taustalinkidega lehtesid.
- Veebiarhiivid – veebiarhiiviteenused, nagu Wayback Machine, lubavad kasutajatel näha arhiivitud veebilehtede versioone, sealhulgas selleks ajaks kättesaamatuid ja Google'i jaoks indekseerimatuid veebilehti.[21]