Kim jesteśmy

AncoroBot to robot narzędzia SEO Ancoro. Czyta publiczne strony witryn, które użytkownicy Ancoro śledzą jako konkurencję, pojedyncze strony z pierwszych 20 wyników Google na frazy, o które walczą, oraz witryny, które dodali jako własne.

Pobieramy tylko to, co jest publicznie dostępne bez logowania: robots.txt, mapy witryny (sitemapy) i kod HTML stron. Nie wypełniamy formularzy, nie logujemy się, nie uruchamiamy skryptów i nie omijamy zabezpieczeń przed robotami.

Jak nas rozpoznać

Każde pobranie przedstawia się tym nagłówkiem User-Agent:

Mozilla/5.0 (compatible; AncoroBot/1.0; +https://ancoro.pl/bot)

robots.txt przy cudzych witrynach

• Gdy czytamy witrynę konkurenta albo stronę z wyników Google, szanujemy reguły Allow i Disallow według standardu RFC 9309, razem z symbolami * i $. Grupa dla tokenu AncoroBot ma pierwszeństwo; bez niej obowiązuje grupa dla *.
• Reguły zapamiętujemy na dobę, wspólnie dla wszystkich użytkowników Ancoro. Przed skanem pobieramy sam plik /robots.txt, żeby ustalić właściwy adres witryny (www, https) - to jedyny adres, który standard pozwala czytać zawsze.
• Gdy robots.txt odpowiada błędem serwera, a nie mamy jego kopii z ostatnich 30 dni, nie pobieramy z witryny żadnych stron, a przez kolejne 12 godzin nie pytamy nawet o sam plik.
• Szanujemy też Crawl-delay. W skanie konkurenta pobieramy wtedy jedną stronę naraz i czekamy co najmniej tyle sekund, ile prosi plik; gdy prosi o więcej niż 30 sekund, nie uruchamiamy pełnego skanu z przeglądarki użytkownika. Przy analizie frazy kolejną stronę tej samej witryny czytamy po przerwie, a przy Crawl-delay ponad 5 sekund - tylko jedną.
• robots.txt, który ma dla robotów ponad 2000 reguł, traktujemy jak zakaz wejścia - nie potrafimy go bezpiecznie zastosować.

Tempo i zakres przy cudzych witrynach

• W jednym skanie pobieramy z witryny najwyżej 2 strony naraz, z przerwą 1 s między kolejnymi pobraniami stron. Pliki sitemap czytamy po kolei, jeden po drugim.
• Pełny skan obejmuje najwyżej 2000 stron witryny konkurenta. Uruchamia go użytkownik Ancoro.
• Codzienny przegląd zmian pobiera najwyżej 40 stron witryny konkurenta dla jednego projektu, a samo pobieranie stron trwa najwyżej 5 minut: nowe i zmienione według sitemapy oraz te, których wcześniej nie udało się przeczytać.
• Przy analizie jednej frazy czytamy najwyżej 8 stron z pierwszych 20 wyników Google.
• Ze stron konkurencji zapisujemy adres, tytuł, liczbę słów i nagłówków, słowa kluczowe wyliczone z treści, datę zmiany z sitemapy i liczbę linków między stronami.
• Ze stron z wyników Google, przeczytanych do analizy frazy, zapisujemy ich zarys: tytuł i opis, nagłówki z pierwszym zdaniem pod każdym, pytania FAQ, wezwania do działania, ceny i liczby z krótkim kontekstem. Pełnych tekstów nie przechowujemy.

Witryna dodana jako własna

Witrynę, którą użytkownik dodał jako swoją, skanujemy na jego zlecenie: szybciej (do 20 stron naraz) i bez ograniczeń z robots.txt, bo audyt ma pokazać także strony ukryte przed wyszukiwarkami. Regulamin Ancoro pozwala dodawać wyłącznie witryny, do których użytkownik ma prawa albo zgodę właściciela.

Jak zablokować AncoroBota

Przy skanowaniu konkurencji i stron z wyników Google najszybciej zadziała robots.txt. Uwzględnimy wpis przy najbliższym odczycie reguł, najpóźniej po 24 godzinach. Przykład blokady całej witryny:

User-agent: AncoroBot
Disallow: /

Wykluczenie na prośbę

Możesz też napisać na kontakt@ancoro.pl z adresu w domenie witryny albo podając, jak potwierdzić, że ją prowadzisz. Wpiszemy domenę razem z subdomenami na listę wykluczeń - wtedy AncoroBot nie czyta jej stron jako konkurencji ani jako stron z wyników Google, a skan tej witryny nie uruchomi się także u kogoś, kto dodał ją jako swoją.

Adresów IP robota nie publikujemy: Ancoro działa na współdzielonym hostingu, więc te same adresy mogą należeć do innych usług.

In English

AncoroBot is the crawler of Ancoro, an SEO tool. It fetches public robots.txt files, sitemaps and HTML pages of websites that Ancoro users track as competitors or that rank in Google's top 20 for their keywords, as well as websites users add as their own. For third-party sites it obeys robots.txt (RFC 9309, user-agent token AncoroBot, with * and $), honours Crawl-delay and, within one scan, fetches at most 2 pages at a time per site with a pause between page requests (sitemap files are read one after another). It never logs in and never bypasses bot protection. To block it, add "User-agent: AncoroBot" and "Disallow: /" to your robots.txt, or e-mail us to have your domain excluded: we then stop reading it as a competitor or a search result, and scans of it are refused even for users who add it as their own site.