Wayback Machine

2001 року засновники Internet Archive Брюстер Кале і Брюс Джилліат^[en] запустили проект Wayback Machine, щоб розв'язати проблему зникнення контенту вебсайтів щоразу, коли їх змінюють або закривають^[4]. Сервіс дозволяє користувачам переглядати архівні версії вебсторінок, як вони змінювались з часом, які в архіві називаються «тривимірним індексом»^[5]. Кале і Джилліат створили сервіс, сподіваючись заархівувати весь інтернет і забезпечити «загальний доступ до всіх знань»^[6].

Назву Wayback Machine вибрали як посилання на пристрій для подорожей у часі, який застосовують персонажі Містер Пібоді^[en] і Шерман в анімаційному фільмі Шоу Роккі та Буллвінкля^[en][7][8] під назвою «WABAC machine^[en]» (вимовляється вей-бек). В одній з частин цього анімаційного мультфільму, Неймовірна історія Пібоді^[en], персонажі за допомогою машини часу часто стають свідками відомих історичних подій, беруть в них участь і, здебільшого, змінюють їхній перебіг.

У травні 1996 року Wayback Machine почала архівувати кешовані вебсторінки з метою через п'ять років зробити послугу доступною громадськості^[9]. Від 1996 до 2001 року інформація зберігалася на магнітних стрічках, а Кале зрідка дозволяв дослідникам і науковцям під'єднуватись до громіздкої бази даних^[10]. 2001 року, коли архівові виповнилося п'ять років, відбулась церемонія його відкриття громадськості в Університеті Каліфорнії (Берклі)^[11]. На час запуску Wayback Machine вона вже містила понад 10 мільярдів архівованих сторінок^[12].

Нині дані зберігаються на великому кластері обчислювальних вузлів Linux компанії Internet Archive^[6]. Він час від часу заново відвідує і архівує нові версії вебсайтів (див. технічні дані нижче)^[13]. Сторінки також можна архівувати вручну, вводячи їх URL-адреси в поле пошуку, за умови, що вебсайти дозволяють пошуковому роботу Wayback Machine просканувати їх і зберегти дані^[9].

Wayback Machine за допомогою спеціального пошукового робота сканує Інтернет і завантажує всі загальнодоступні вебсторінки, ієрархію Gopher, електронну дошку оголошень Usenet, а також завантажуване програмне забезпечення^[14]. Ці роботи можуть відсканувати не всю доступну в Інтернеті інформацію, оскільки доступ до значної частини даних обмежують власники сайтів, або ж ці дані зберігається в недоступних базах даних. Щоб подолати неузгодженості частково кешованих вебсайтів, 2005 року компанія Internet Archive створила сайт Archive-It.org як засіб, що дозволяє установам і творцям контенту за власним бажанням збирати і зберігати зібрання цифрового контенту та створювати цифрові архіви^[15].

Сканування надходять з різних джерел. Деякі імпортуються від третіх сторін, тоді як інші генеруються всередині самого Архіву^[13]. Наприклад, сканування надходять від Фундації Альфреда Слоуна і Alexa, сканування зроблені ІА для Національного управління архівів та документації та Internet Memory Foundation^[en], дзеркал Common Crawl^[en][13]. «Worldwide Web Crawls» працює з 2010 року і сканує всемережжя^[16][13].

Частота зроблених знімків сторінок змінюється в залежності від вебсайту^[13]. Сайти у «Worldwide Web Crawls» вміщені в «список сканувань». Один сайт архівується раз за сканування^[13]. Сканування може тривати кілька місяців або навіть років у залежності від розміру^[13]. Наприклад, «Wide Crawl Number 13» розпочався 9 січня 2015 року й завершився 11 липня 2016 року^[17]. Однак, в один і той самий час може відбуватись кілька сканувань, і сайт може бути вміщено в понад один список сканувань, тож частота сканування сайтів змінюється в широких межах^[13].

Місткість сховища та її зростання

Разом з розвитком технології впродовж років зростала й місткість сховища Wayback Machine. У 2003 році, через два роки після того, як доступ став публічним, Wayback Machine зростала зі швидкістю 12 терабайтів на місяць. Дані зберігаються на зробленій на замовлення системі стелажування PetaBox^[en], розробленій співробітниками інтернет-архіву. Перший стелаж на 100ТВ повністю увійшов у дію в червні 2004 року, хоча невдовзі стало зрозуміло, що потрібно значно більше обсягу пам'яті, ніж він має^[18][19].

2009 року Internet Archive перевів свою спеціалізовану архітектуру зберігання до Sun Open Storage^[en], і має у своїй власності новий центр обробки даних у Sun Modular Datacenter^[en] у каліфорнійському кампусі Sun Microsystems^[20]. Станом на 2009 Wayback Machine містила приблизно три петабайти даних і зростала зі швидкістю 100 терабайт на місяць^[21].

Нова, поліпшена версія Wayback Machine, з оновленим інтерфейсом і новішим покажчиком архівних матеріалів, стала доступною для публічного тестування у 2011 році^[22]. У березні того самого року на форумі Wayback Machine було сказано, що «бета-версія нової Wayback Machine має повніший і актуальніший покажчик всіх відсканованих матеріалів до 2010 року, й продовжить регулярно оновлюватися. Покажчик, який управляв старою Wayback Machine, має небагато матеріалів після 2008 року, і жодних його подальших оновлень не планується, оскільки цього року його припинять використовувати»^[23]. Також 2011 року інтернет-архів встановив свою шосту пару стелажів PetaBox, що дозволило збільшити місткість Wayback Machine на 700 терабайт^[24].

У січні 2013 року Internet Archive оголосила про нову віху — 240 мільярдів відсканованих URL-адрес^[25]. У жовтні 2013 року компанія оголосила про введення функції «Save a Page»^[26], що дозволяє користувачам Інтернету заархівувати вміст URL-адреси і швидко створює постійне посилання на відміну від попередньої функції liveweb. Це стало загрозою зловживань з боку сервісу як хостингу шкідливих двійкових файлів^[en][27][28].

Станом на грудень 2014 Wayback Machine містила 435 мільярдів вебсторінок обсягом майже дев'ять петабайтів, і зростала приблизно на 20 терабайтів щотижня^[29][12][30].

Станом на липень 2016 Wayback Machine містила близько 15 петабайт даних^[31].

Станом на вересень 2018 року Wayback Machine містила понад 25 петабайтів даних^[32][33].

Станом на грудень 2020 року Wayback Machine містила понад 70 петабайтів даних^[34].

Зростання

За період з жовтня 2013 року по березень 2015 року в глобальному рейтингу Alexa сайт Wayback Machine опустився зі 163-го^[35] на 208-ме місце^[36]. У березні 2019 сайт був на 244-му місці^[37].

Політики винятків вебсайтів

Історично, Wayback Machine поважав стандарт винятків для роботів (Robots.txt), визначаючи коли сайт можна сканувати; або ж, якщо вже робот його обійшов, чи ці архіви будуть у відкритому доступі. Власники вебсайту мають можливість зробити його недоступним для Wayback Machine за допомогою robots.txt. Правила robots.txt застосовуються заднім числом; якщо власник сайту заблокував для інтернет-архіву доступ до нього, то всі заархівовані раніше сторінки з цього домену також одразу ж стають недоступними. Крім того, працівники Internet Archive заявили, що «іноді власник сайту зв'язується з нами і просить зупинити сканування та архівацію сайту. Ми виконуємо ці запити»^[40]. Крім того, на сайті написано: «Internet Archive не зацікавлений у скануванні вебсайту та інших інтернет-документів, або наданні доступу до них, якщо власники не хочуть, щоб вони були в зібранні»^[41][42].

Оклендська архівна політика

Політика винятку заднім числом Wayback Machine частково ґрунтується на рекомендаціях з управління запитами на вилучення і збереження архівної цілісності (англ. Recommendations for Managing Removal Requests and Preserving Archival Integrity), опублікованих Школою інформаційного управління і систем в Університеті Каліфорнії (Берклі) у 2002 році, які дають власникові сайту право заблокувати доступ до архіву сайту^[43]. Wayback дотримується цієї політики, щоб за можливості уникнути дорогих судових розглядів^[44].

Політика винятку заднім числом Wayback почала послаблюватися 2017 року, коли він перестав зважати на файли robots.txt на американських урядових і військових вебсайтах як для їх сканування, так і показу відсканованих вебсторінок. Станом на квітень 2017 Wayback ігнорує robots.txt в ширших межах, не тільки для урядових сайтів США^{[45][46][47][48]}.

Від 2001 року, коли Wayback Machine стала доступною громадськості, науковці вивчали як способи, якими вона зберігає і збирає дані, так і самі сторінки, що вже містяться в її архіві. Станом на 2013 рік науковці написали близько 350 статей про Wayback Machine, здебільшого в галузях інформаційних технологій, бібліотекознавства та суспільних наук. Представники суспільних наук скористалися Wayback Machine, щоб проаналізувати, як розвиток вебсайтів, починаючи з середини 1990-х років і дотепер вплинув на темпи зростання компаній^[12].

Коли Wayback Machine архівує сторінку, вона зазвичай вміщує більшість гіперпосилань, зберігаючи ці посилання активними, коли вони запросто могли бути порушені нестабільністю Інтернету. Індійські вчені вивчали здатність Wayback Machine зберігати гіперпосилання в наукових онлайн-публікаціях і визначили, що вона зберігає трохи більш як половину з них^[49].

Журналісти використовують Wayback Machine, щоб переглядати мертві сайти, застарілі новини і зміни в змісті сайту. Його зміст використовують, щоб притягати політиків до відповідальності й викривати брехню в зображенні подій на полі бою^[50]. 2014 року заархівована з соціальної мережі сторінка Ігоря Гіркина засвідчила, як він хвалиться, що його бійці збили нібито український військовий літак. Коли ж стало відомо, що насправді це цивільний літак Малайзійських авіаліній, Гіркін видалив пост і звинуватив українських військових у знищенні літака^[50][51]. Марш за науку в березні 2017 року розпочався з обговорення на Reddit, яке показало, що хтось відвідав Archive.org і виявив, що з сайту Білого дому вилучено всі посилання на зміну клімату. У відповідь один з користувачів написав: «Має бути хода науковців на Вашингтон»^[52][53][54].

Крім того, сайт активно використовується для верифікації, забезпечуючи редакторам Вікіпедії доступ до посилань і можливість створювати контент^[55].

Обмеження

Попри свої можливості, Wayback Machine також має деякі обмеження. У 2014 році затримка між скануванням вмісту сайтів і часом, коли він був доступним на Wayback Machine, становила шість місяців^[56]. Станом на листопад 2018 року час затримки становив від 3 до 10 годин^[57]. Wayback Machine не є «історичним Google»; користувачі самі мають знати URL-адреси вебсайтів, які вони хочуть переглянути^[58]. Існує функція «Site Search» (пошук сайту), яка дозволяє користувачам знайти сайт на основі слів, що описують сайт, а не слів, знайдених на самих вебсторінках^[58].

Wayback Machine не містить усіх сторінок, коли-небудь створених, через обмеження свого вебкраулера. Wayback Machine не може повністю архівувати вебсторінки, які містять інтерактивні функції, як-от Флеш-платформи і форми, написані на JavaScript, бо ці функції вимагають взаємодії з хост-сайтом. Вебкраулеру складно відсканувати все, що закодовано не в HTML (або одному з його варіантів), що часто призводить до зламаних гіперпосилань та відсутніх зображень. Через це вебкраулер не архівує «сторінок-сиріт», які не містять посилань на інші сторінки^[59][58]. Краулер Wayback Machine може відсканувати лише наперед визначену кількість гіперпосилань, згідно з наперед заданим обмеженням глибини, тому він не може заархівувати всі гіперпосилання на кожній сторінці^[16].

Деякі власники поміщають на свій сайт файл robots.txt, який не дозволяє Wayback Machine знаходити та архівувати їх. Крім того, власники вебсайтів також можуть безпосередньо зв'язатися з Інтернет-архівом і просити, щоб їх сторінки було вилучено з архіву^[59].

Як юридичні докази

Цивільне судочинство

Netbula LLC проти Chordiant Software Inc.

У справі 2009 року Netbula, LLC проти Chordiant Software Inc відповідач Chordiant подав клопотання, щоб Netbula на своєму сайті вимкнула файл robots.txt, який змушував Wayback Machine заднім числом закривати доступ до попередніх версій сторінок, заархівованих з сайту Netbula, які, на думку Chordiant могли б свідчити на користь захисту^[60].

Netbula заперечила проти цього клопотання на тій підставі, що відповідач звертався з проханням змінити сайт Netbula, а йому слід було безпосередньо зробити запит до Інтернет-архіву за доступом до заархівованих сторінок^[61]. Проте, співробітник Internet Archive подав заяву під присягою, в якій підтримав дію Chordiant, заявивши, що він не може видати вебсторінки за допомогою інших засобів «без значного навантаження, витрат і перебоїв у його роботі»^[60].

Суддя Говард Ллойд у Північному окрузі Каліфорнії, відділі Сан-Хосе, відхилив заперечення Netbula і наказав йому тимчасово вимкнути блокування robots.txt для того, щоб Chordiant отримав архівні сторінки^[60].

Telewizja Polska

У жовтні 2004 року у справі Telewizja Polska USA, Inc. проти Echostar Satellite, No. 02 °C 3293, 65 Fed. R. Evid. Serv. 673 (N.D. Ill. October 15, 2004) позивач, мабуть вперше в історії, намагався використати Wayback Machine як джерело допустимих доказів. Компанія Telewizja Polska є провайдером TVP Polonia і EchoStar^[en], яка управляє Dish Network. До початку судового розгляду EchoStar вказала, що має намір запропонувати знімки Wayback Machine як доказ минулого змісту сайту Telewizja Polska. Компанія Telewizja Polska подала Клопотання про нерозголошення^[en], щоб завадити використанню знімків на тій підставі, що нібито це чутки і неперевірене джерело, але суддя Арландер, відхилив твердження Telewizja Polska, що нібито це чутки, й відмовив у клопотанні про нерозголошення щодо вилучення доказів з процесу^[62][63].

Патентне право

За умови виконання деяких додаткових вимог (наприклад, надання авторитетної заяви архівіста), Відомство з патентів і торгових знаків США^[en] і Європейське патентне відомство^[en] приймають від Інтернет-архіву відмітки часу як доказ того, коли ця вебсторінка була доступна громадськості. Ці дані використовуються для визначення, чи вебсторінку можна вважати prior art, наприклад, під час розгляду заявки на патент^[64].

Станом на грудень 2016 року Archive.org заблокований у Китаї^[en][65][66].

Елісон Макріна, директорка Library Freedom Project, зазначає, що «хоча бібліотекарі глибоко цінують недоторканість приватного життя, ми також рішуче виступаємо проти цензури»^[50].

Відомі окремі випадки, коли сайт закрив онлайн-доступ до матеріалів, через які «випадкові» люди опинились у небезпеці^[50].

Серед інших загроз: стихійні лиха^[67], знищення (дистанційне або фізичне), маніпуляція вмістом архіву (див. також: хакерська атака, резервне копіювання), проблематичне авторське право^[68] і спостереження за користувачами сайту^[69].

Кевін Воен підозрює, що в довгостроковій перспективі багатьох поколінь «майже нічого» не залишиться такого, щоб цим можна було практично скористатись, але «якщо збережеться наступність нашої технологічної цивілізації», то «значну частину голих даних можна буде знайти й дослідити»^[70].

Власники Інтернет-архіву заявляють, що він побудований з розрахунком на тривалу перспективу^[71]. Втім, автори статті у журналі The Atlantic описують його роботу як "несамовите намагання вихопити дані перш ніж вони зникнуть, не маючи для цього якоїсь більш-менш надійної тривалої інфраструктури^[72].

• Колективна пам'ять
  • Національна пам'ять^[en]
• Глибинна мережа
• Heritrix^[en]
• Library Genesis
• The Memory Hole^[en]
• Вебархівування
• WebCite
• Archive.is

• Офіційний сайт
• Terms of use, privacy and copyright policy. archive.org. 31 грудня 2014.
• Basic users'how-to guide for searching or saving web pages. WikiHow.com (англ.) (нім.) (ісп.) (фр.) (італ.). Архів оригіналу за 15 березня 2020. Процитовано 20 квітня 2019.
• Internet history is fragile. This archive is making sure it doesn’t disappear. [Архівовано 8 квітня 2021 у Wayback Machine.]

Дзеркала

• Official mirror of the Wayback Machine. Архів оригіналу за 28 листопада 2012. Процитовано 20 квітня 2019.

Утиліти

• OpenWayback. FOSS java and perl, with proxy replay mode. sourceforge.net. Архів оригіналу за 16 вересня 2011. Процитовано 20 квітня 2019. (за IIPC)
• Tool to retrieve a backup from the Wayback Machine. github.com. Архів оригіналу за 3 травня 2021. Процитовано 20 квітня 2019.
• Wayback Machine Downloader Online (англ.) (пол.). Архів оригіналу за 21 березня 2018. Процитовано 20 квітня 2019.