Start / Blog / AI / Crawlery AI i blokady hostingu
Czy ChatGPT widzi Twoją stronę? Hosting może blokować crawlery AI
Możesz mieć dobrą treść, otwarty plik robots.txt i stronę zgodną ze wszystkimi zaleceniami, a model językowy i tak nie przeczyta ani jednej podstrony. Wystarczy, że hosting odeśle jego robota z błędem 403, zanim żądanie dotrze do Twojej strony. Nikt Ci o tym nie powie, bo odwiedzający widzą stronę normalnie, a robot nie ma jak się poskarżyć.
Przekonałem się o tym na własnej stronie. Sprzedaję usługi związane z widocznością w AI, a podczas audytu okazało się, że fisite.pl jest dla modeli nieczytelny: współdzielony hosting LiteSpeed domyślnie blokował wszystkie crawlery AI. Ten wpis opisuje, jak to wykryłem, co zmieniłem i dlaczego sam test w terminalu nie wystarcza. O tym, co robić z treścią, gdy roboty już mają dostęp, piszę w tekście o SEO w erze AI.
Dostęp jest pierwszą warstwą, nie ostatnią
Widoczność w odpowiedziach AI składa się z trzech warstw. Najpierw robot musi móc pobrać stronę (dostęp). Potem musi z niej wyczytać treść, którą da się zrozumieć i zacytować (odczyt). Dopiero na końcu model decyduje, czy wymienić Twoją firmę (cytowanie). Większość poradników zaczyna od trzeciej warstwy: od treści, nagłówków i danych strukturalnych. Tymczasem jeśli pierwsza warstwa nie działa, pozostałe nie mają znaczenia.
Brak dostępu ma jeszcze jedną cechę: nie daje żadnego widocznego objawu. Strona ładuje się w przeglądarce, Search Console nie zgłasza błędów, bo Googlebot zwykle nie jest blokowany, a analityka pokazuje normalny ruch. Blokada dotyczy wyłącznie robotów, których nikt na co dzień nie sprawdza.
Skąd bierze się blokada, której nie widać w robots.txt
Robota można zatrzymać w trzech miejscach. Pierwsze to plik robots.txt: to prośba, którą robot może uwzględnić albo pominąć, i to Ty ją piszesz. Drugie to konfiguracja serwera lub zapora aplikacyjna (WAF), która odrzuca żądanie na podstawie nagłówka User-Agent albo adresu IP, zanim strona w ogóle zostanie uruchomiona. Trzecie to warstwa przed serwerem: CDN, wtyczka bezpieczeństwa albo ochrona przed botami włączona jednym przełącznikiem. W dwóch ostatnich przypadkach to odmowa, a nie prośba, więc robot nie ma wyboru.
U mnie zadziałało drugie. Mój hosting domyślnie odrzucał 27 botów, wśród nich wszystkie crawlery AI, i zwracał im kod 403. Mechanizm składa się z flagi ustawianej na żądaniach rozpoznanych botów oraz reguły zapory, która takie żądania odcina. W panelu klienta nie ma na to przełącznika, a dokumentacja hostingu wskazuje jedyną drogę: wyjątek dopisany w pliku .htaccess.
Zanim to naprawiłem, wykluczyłem własną winę. Blokada pojawiała się także wtedy, gdy na próbę usunąłem cały plik .htaccess, więc nie pochodziła z mojego kodu. Wyłączenie silnika reguł zapory z poziomu .htaccess też nic nie dało. Zadziałało dopiero zdjęcie dwóch rzeczy naraz, flagi blokady i reguły zapory, i to wyłącznie dla żądań z nazwami konkretnych robotów w nagłówku User-Agent. Wszystko inne zostało pod dotychczasową ochroną.
Nie wklejam tu gotowego bloku, bo nazwy flag i reguł zależą od hostingu i powinieneś je wziąć z jego dokumentacji, a nie z cudzej strony. Koncepcja jest za to taka sama wszędzie: warunek na nazwę robota, a w jego środku zdjęcie blokady hostingu tylko dla tych żądań.
Których robotów to dotyczy
Dostawcy modeli rozdzielają role. Jeden robot zbiera treści pod trenowanie, drugi buduje indeks wyszukiwania, trzeci pobiera stronę na żywo, gdy użytkownik o to poprosi. Poniższe opisy pochodzą z dokumentacji OpenAI, Anthropic i Perplexity.
| Robot | Dostawca | Do czego służy |
|---|---|---|
| GPTBot | OpenAI | zbieranie treści pod trenowanie modeli |
| OAI-SearchBot | OpenAI | pokazywanie stron w wynikach wyszukiwania ChatGPT |
| ChatGPT-User | OpenAI | pobranie strony na prośbę użytkownika w rozmowie |
| ClaudeBot | Anthropic | zbieranie treści pod trenowanie modeli |
| Claude-SearchBot | Anthropic | poprawa jakości wyników wyszukiwania w Claude |
| Claude-User | Anthropic | pobranie strony na prośbę użytkownika |
| PerplexityBot | Perplexity | indeks wyszukiwarki Perplexity |
| Perplexity-User | Perplexity | pobranie strony na prośbę użytkownika |
Odblokowałem je wszystkie, łącznie z kilkunastoma mniej znanymi robotami innych dostawców, razem dwadzieścia nazw. To decyzja biznesowa, nie techniczna. Jeśli nie chcesz, żeby Twoje treści służyły do trenowania modeli, możesz zablokować GPTBot i ClaudeBot, a przepuszczać roboty wyszukiwania i roboty pobierające stronę na prośbę użytkownika. U mnie przesądziło to, że sprzedaję widoczność w AI, więc przepuszczam wszystkie.
Roboty narzędzi SEO, takie jak AhrefsBot, SemrushBot i MJ12bot, zostawiłem zablokowane. To także decyzja: nie ułatwiam konkurencji analizy mojego profilu linków. Twoja może być inna. Hosting ostrzega zresztą, że odblokowane boty mogą nadal podlegać limitom liczby żądań, więc zdjęcie blokady nie oznacza nieograniczonego dostępu.
Chcesz, żeby AI polecało Twoją firmę? Widoczność w odpowiedziach AI prowadzę w ramach pozycjonowania SEO i GEO (od 1200 zł/mies.).
Jak sprawdzić dostęp w kilka minut
Pierwszy test nie wymaga niczego poza terminalem. Wyślij to samo żądanie raz z nazwą robota w nagłówku User-Agent, a raz bez niej, i porównaj kody odpowiedzi:
curl --silent --output /dev/null \
--write-out "%{http_code}\n" \
--user-agent "Mozilla/5.0 (compatible; GPTBot/1.1)" \
https://twojadomena.pl/
- Sprawdź stronę główną z nagłówkami GPTBot, ClaudeBot i PerplexityBot, po jednym zapytaniu na robota.
- Powtórz to dla adresów /robots.txt i /sitemap.xml, bo to o nie roboty pytały u mnie w logach.
- Wyślij to samo zapytanie ze zwykłym nagłówkiem przeglądarki. Jeśli przeglądarka dostaje 200, a robot 403, blokada działa na podstawie nazwy robota.
Ten test ma jednak granice. Sprawdza wyłącznie nagłówek, który sam podszywasz, a reguła hostingu może brać pod uwagę coś więcej, na przykład adres IP lub tempo żądań. Kod 200 w terminalu nie dowodzi więc, że prawdziwy robot wejdzie, a kod 403 nie zawsze oznacza, że prawdziwy robot został zatrzymany.
Logi serwera zamiast samego testu z terminala
Test z podszytym nagłówkiem pokazuje tylko, czy dana ścieżka jest dostępna dla danej nazwy w danej chwili. Nie pokazuje, o co roboty naprawdę pytają, jak często i co dostają. Dlatego po odblokowaniu zajrzałem w logi. Hosting udostępnia archiwa dzienników dostępu, każdy dzień osobno. Rozpakowałem cztery dni i policzyłem żądania, w których nagłówek zawierał nazwę GPTBot, ClaudeBot, PerplexityBot lub anthropic-ai.
Wyszło 119 żądań: 104 z kodem 200, 8 z kodem 301 (zwykłe przekierowania), 4 z kodem 403 i 3 z kodem 404. Z tego zestawienia wynikają trzy wnioski.
- Odblokowanie nie cofnęło się. Ruch robotów AI przechodził bez przeszkód, a wyjątek w .htaccess dalej działał.
- Roboty oglądają stronę, nie tylko pobierają jej kod. ClaudeBot pobierał stronę główną, robots.txt, mapę strony i podstronę z opieką WordPress razem z arkuszami stylów, czcionkami i logo, co wskazuje, że ogląda stronę podobnie jak przeglądarka.
- Cztery odmowy miały jedno źródło. Wszystkie pochodziły od GPTBot i dotyczyły jednego adresu:
/page-sitemap.xml.
Ten adres pochodzi z czasów, gdy strona działała na WordPressie z wtyczką SEO. Po migracji na statyczny HTML w lipcu już nie istnieje, ale robot go zapamiętał i pytał o niego codziennie, o zbliżonej porze nocy. Zamiast oczekiwanego 404 dostawał 403, i to najwyraźniej z reguły hostingu, a nie z mojego pliku .htaccess: w logu błędów był wpis o odmowie dostępu do katalogu głównego, bez śladu reguły zapory. Dla robota to wygląda jak zamknięte drzwi, a nie jak adres, który po prostu wygasł. Dodałem przekierowanie 301 z tego adresu na aktualną mapę strony.
Gdybym poprzestał na teście z terminala, uznałbym sprawę za zamkniętą. Log pokazał to, czego test pokazać nie może: adresy sprzed migracji, które roboty mają zapisane, ich rytm i sposób pobierania strony. Warto też pamiętać o ograniczeniu mojej metody. Liczyłem po nagłówku User-Agent, który można podrobić, więc to górne oszacowanie ruchu prawdziwych robotów. Część dostawców publikuje listy adresów IP swoich robotów i pozwala to zweryfikować.
Żeby powtórzyć to u siebie, pobierz archiwa logów z hostingu, rozpakuj je i policz kody odpowiedzi dla wybranych robotów. W standardowym formacie logu (combined) kod jest dziewiątym polem:
grep -hE "GPTBot|ClaudeBot|PerplexityBot" *.log \
| awk '{print $9}' | sort | uniq -c
Nie wiesz, czy roboty AI wchodzą na Twoją stronę? Napisz do mnie adres strony i nazwę hostingu. Powiem, jak sprawdzić dostęp robotów w Twojej konfiguracji i gdzie najczęściej kryje się blokada. Pierwsza odpowiedź bez zobowiązań, prace 120 zł/h. Widoczność w AI prowadzę w ramach pozycjonowania SEO i GEO (od 1200 zł/mies.).
Co zrobić po odblokowaniu
Najpierw powtórz test z terminala i zajrzyj w logi po kilku dniach, bo roboty nie pojawiają się natychmiast. Potem wpisz kontrolę dostępu na stałą listę przeglądów technicznych, obok indeksacji i danych strukturalnych, z którymi zwykle kojarzy się techniczne SEO strony WordPress. Sprawdzam to cyklicznie: w październiku wszystkie sprawdzane roboty, w tym roboty OpenAI, Claude i Perplexity, nadal dostawały kod 200, a mój robots.txt zawiera tylko jedną regułę dla skryptu formularza i wskazanie mapy strony, bez blokowania jakiegokolwiek robota.
Jeśli zmieniasz hosting, dopisz do kryteriów pytanie o domyślne blokady botów i sposób ich zdejmowania. Ogólne kryteria wyboru omawiam w zestawieniu najlepszych hostingów WordPress, ale ta jedna kwestia rzadko pojawia się w ofertach.
Dostęp to warunek konieczny, nie gwarancja
Odblokowanie robotów nie oznacza, że model zacznie Cię cytować. Dostęp decyduje tylko o tym, czy Twoja strona w ogóle może zostać wzięta pod uwagę. O wyniku decydują treść, opinie, źródła, na które model się powołuje, i pozycje w tradycyjnym wyszukiwaniu. W polskich danych, które analizowałem (Semgence, jesienna analiza ruchu z AI w GA4 siedemnastu firm), ruch z asystentów AI to mediana 0,7% sesji, więc nie oczekiwałbym przełomu z samego odblokowania. Jak cytowanie przekłada się na kliknięcia, opisałem w tekście o AI Overviews i spadku kliknięć.
Blokowanie robotów AI w robots.txt czy na serwerze bywa uzasadnione, na przykład gdy treść jest płatna albo objęta licencją. Dla zwykłej strony firmowej, która chce być znaleziona, jest to jednak najczęściej decyzja podjęta nieświadomie, bo ustawiła ją za Ciebie domyślna konfiguracja hostingu. Wniosek jest prosty: najpierw sprawdź dostęp, dopiero potem optymalizuj treść.
Najczęstsze pytania
Czy robots.txt wystarczy, żeby wpuścić crawlery AI?
Nie. Plik robots.txt mówi robotowi, czego nie powinien pobierać, ale nie otwiera drzwi. Jeśli hosting, zapora lub CDN odrzucają żądanie na podstawie nagłówka User-Agent, robot dostaje kod 403 niezależnie od zawartości pliku. Trzeba więc sprawdzić obie rzeczy: zasady w robots.txt i to, co faktycznie zwraca serwer.
Czy mogę wpuścić roboty wyszukiwania AI, a zablokować zbieranie treści do trenowania modeli?
Według dokumentacji dostawców tak, bo OpenAI i Anthropic rozdzielają te role na osobne roboty. GPTBot i ClaudeBot zbierają treści pod trenowanie, OAI-SearchBot i Claude-SearchBot budują indeks wyszukiwania, a ChatGPT-User i Claude-User pobierają stronę na prośbę użytkownika. Nazwy i role bywają zmieniane, więc przed ustawieniem reguł sprawdź aktualną dokumentację dostawcy.
Czy zdjęcie blokady naraża stronę na ataki?
Wyjątek obejmuje tylko publiczne treści, które i tak widzi każdy odwiedzający. Pamiętaj jednak, że nagłówek User-Agent można podrobić, więc zwykły scraper też może się pod robota podszyć. Nie traktuj go jako uwierzytelnienia: panele, formularze i zasoby prywatne chroń hasłem i limitami, a nie nazwą robota.
Jak często roboty AI odwiedzają stronę?
Nie da się podać jednej wartości, bo zależy to od robota, wielkości i popularności strony. Na mojej niewielkiej stronie w czterech dniach logów naliczyłem 119 żądań czterech robotów. Ruch typu ChatGPT-User pojawia się dopiero wtedy, gdy ktoś zada pytanie, na które model szuka odpowiedzi w sieci. Najlepszą odpowiedzią są własne logi.
Czy sprawdzenie dostępu robotów AI wchodzi w zakres pozycjonowania?
Sprawdzam to przy pozycjonowaniu (od 1200 zł miesięcznie), razem z innymi elementami widoczności w AI: dostępem robotów, danymi strukturalnymi i pytaniami kontrolnymi zadawanymi modelom. Samo sprawdzenie blokady da się zrobić jednorazowo, bo wymaga kilku zapytań i przejrzenia logów.
Widoczność w AI
Masz budżet na widoczność w Google i AI?
Napisz, ile miesięcznie chcesz przeznaczyć, a pokażę, co da się za to zrobić w Google, AI Overviews i ChatGPT. Prowadzę to w ramach pozycjonowania SEO i GEO. Jeśli kwota nie wystarczy, powiem to wprost.
