Anubis: Jak serwery bronią się przed skrobaniem AI

System Anubis to rozwiązanie ochronne wdrożone przez administratorów Infokatowice.pl, które ma na celu uniemożliwić firmom zajmującym się sztuczną inteligencją niekontrolowane pobieranie zawartości stron internetowych.

Czym jest skrobanie treści i dlaczego stanowi problem

Skrobanie danych z serwerów internetowych polega na automatycznym, masowym pobieraniu zawartości przy użyciu specjalistycznych narzędzi. Gdy proces ten przebiega agresywnie i na dużą skalę, generuje znaczące obciążenie dla infrastruktury serwera, prowadząc do jego przestojów i niedostępności dla zwykłych użytkowników. Problem nasilił się wraz z rozwojem technologii AI, które wymagają ogromnych zbiorów danych treściowych do trenowania modeli.

Dla właścicieli serwisów internetowych to oznacza rzeczywisty koszt: wyższe wydatki na utrzymanie infrastruktury, pogorszenie doświadczenia użytkowników oraz potencjalną utratę kontroli nad własnymi zasobami.

Jak działa system Anubis

Anubis wykorzystuje mechanizm inspirowany schematem Proof-of-Work, który znany jest z systemu Hashcash — pierwotnie proponowanego rozwiązania mającego zmniejszać ilość spamu e-mailowego. Idea jest podobna: przed udzieleniem dostępu do zasobu, system wymaga od klienta wykonania pewnego obliczeniowego zadania weryfikacyjnego.

Aspekt	Opis
Mechanizm ochrony	Proof-of-Work wzorowany na Hashcash
Zastosowanie pierwotne Hashcash	Ograniczanie spamu e-mailowego
Obciążenie na małą skalę	Znikome dla zwykłych użytkowników
Obciążenie na masową skalę	Znacznie wzrasta dla agresywnych skrapaczy
Charakter rozwiązania	Tymczasowy
Docelowa metoda identyfikacji	Analiza renderowania czcionek

Na małą skalę — gdy pojedynczy użytkownik przeglądający stronę normalnie wykonuje takie zadanie — dodatkowe obciążenie jest praktycznie niezauważalne. Natomiast gdy system musi obsłużyć masowe żądania od automatycznych narzędzi skrobających, obciążenie rośnie proporcjonalnie do liczby połączeń, co skutecznie spowalnia lub blokuje ataki.

Przyszłość obrony: identyfikacja przeglądarek headless

Administratorzy Infokatowice.pl traktują Anubis jako rozwiązanie przejściowe. Docelowo system ma ewoluować w kierunku bardziej zaawansowanej identyfikacji przeglądarek headless — czyli narzędzi automatycznych, które nie wyświetlają interfejsu graficznego i są głównym narzędziem skrapaczy.

Kluczową techniką ma być analiza renderowania czcionek. Przeglądarki headless, działające bez interfejsu użytkownika, inaczej przetwarzają i wyświetlają czcionki niż tradycyjne przeglądarki. Poprzez monitorowanie tego procesu, system będzie w stanie odróżnić automatyczne narzędzia od rzeczywistych użytkowników.

Anubis wymaga do działania nowoczesnych funkcji JavaScript. Stanowi to wyzwanie dla użytkowników, którzy korzystają z wtyczek ochrony prywatności, takich jak JShelter — narzędzie, które celowo wyłącza zaawansowane funkcje JavaScript, aby uniemożliwić śledzenie. Osoby korzystające z takich wtyczek mogą napotkać problemy z dostępem do chronionych serwisów.

Co to oznacza dla użytkowników

Wdrożenie systemów takich jak Anubis ma pozytywny wpływ na dostępność i stabilność serwisów internetowych dla zwykłych odwiedzających. Blokowanie agresywnego skrobania zmniejsza obciążenie serwerów, co przekłada się na szybsze ładowanie stron i mniejszą liczbę przestojów.

Jednocześnie rozwiązanie to ilustruje rosnący konflikt między ochroną przed nieautoryzowanym pobieraniem treści a prywatnością użytkowników. Osoby, które aktywnie chronią swoją prywatność w internecie poprzez wyłączanie zaawansowanych funkcji JavaScript, mogą doświadczać utrudnień w dostępie do niektórych serwisów. To wymaga od nich wyboru między pełną prywatnością a wygodą korzystania z treści.

Dla właścicieli serwisów internetowych Anubis reprezentuje praktyczne podejście do rosnącego problemu nieautoryzowanego dostępu do danych. Jednak charakter tymczasowy tego rozwiązania sugeruje, że branża wciąż poszukuje długoterminowych standardów ochrony, które byłyby jednocześnie efektywne i nie utrudniały dostępu zwykłym użytkownikom.