Streszczenie techniczne: Wyszukiwarki oparte na modelach językowych — Perplexity Pro, ChatGPT Search (OAI-SearchBot), Claude Search oraz Google AI Overviews — nie działają jak tradycyjny algorytm PageRank. Zamiast zwracać 10 niebieskich linków na podstawie gęstości słów kluczowych, uruchamiają w czasie poniżej 900 milisekund wieloetapowy potok Retrieval-Augmented Generation (RAG): rozbijają intencję użytkownika na drzewo podzapytań (Query Fan-Out), pobierają surowy kod HTML z pominięciem ciężkiego JavaScriptu, oceniają gęstość faktów za pomocą modelu Cross-Encoder Reranker i syntetyzują odpowiedź wyłącznie z 5–8 najlepiej ustrukturyzowanych źródeł.
1. Etap 1: Query Fan-Out (Rozgałęzienie zapytania w czasie rzeczywistym)
Gdy dyrektor operacyjny wpisuje w ChatGPT lub Perplexity złożone pytanie, np.: „Która firma w Polsce wdraża dwukierunkową integrację Comarch Optima z KSeF i prywatnymi agentami AI bez wysyłania danych do chmury?”, silnik AI nie wysyła tego zdania bezpośrednio do indeksu. Szybki model klasy router wykonuje Query Fan-Out — w ciągu ~120 ms generuje równolegle od 4 do 8 precyzyjnych zapytań składowych:
"integracja Comarch Optima KSeF API dwukierunkowa Go SQL""prywatni agenci AI MCP wdrożenie on-premise NDA Polska""automatyzacja faktur Comarch Optima Subiekt nexo czas wdrożenia case study"
Strona internetowa, która zawiera wyłącznie ogólne hasła marketingowe („Jesteśmy innowacyjnym software housem tworzącym rozwiązania szyte na miarę”), ma zerowe dopasowanie wektorowe i leksykalne do tych technicznych podzapytań.
2. Etap 2: Hybrydowy Retrieval (BM25 + Dense HNSW) i limit czasu dla crawlera (TTFB)
Dla każdego podzapytania silnik przeszukuje równocześnie dwa indeksy i łączy wyniki za pomocą algorytmu RRF (Reciprocal Rank Fusion):
RRF_Score(d) = Σ [ 1 / (k + rank_m(d)) ] (dla k = 60, m ∈ {BM25, Dense})
- Indeks leksykalny (BM25 / Sparse): Szuka dokładnych nazw własnych, kodów protokołów, nazw tabel, norm i lokalizacji (
Comarch Optima,Subiekt nexo,JSON-RPC,FA(2),Zambrów,Białystok). - Indeks semantyczny (Dense Vector Embeddings / HNSW): Dopasowuje znaczenie całych akapitów w przestrzeni wielowymiarowej (np. 1536 lub 3072 wymiarów).
- Twardy budżet czasowy na pobranie treści (Live Fetch Timeout): Boty takie jak
OAI-SearchBot,Claude-SearchBotiPerplexityBotmają sztywny limit czasu (często 800–1500 ms) na pobranie dokumentu i nie wykonują ciężkich bundli React/Vue ani zapytań XHR po stronie klienta. Jeśli serwer odpowiada w 1.8 s albo treść renderuje się dopiero w przeglądarce, bot widzi pusty szkieletdiv id="root"i natychmiast odrzuca domenę.
3. Etap 3: Cross-Encoder Reranking i współczynnik Signal-to-Boilerplate
Z puli ~50 pobranych dokumentów tylko 5–8 trafia do okna kontekstowego głównego modelu generującego odpowiedź. O tym, które strony przejdą przez to sito, decyduje wyspecjalizowany model Cross-Encoder Reranker (np. architektura klasy Cohere Rerank / BGE-Reranker). W badaniach nad GEO (Generative Engine Optimization) przeprowadzonych przez badaczy z Princeton, Georgia Tech i Allen Institute for AI wykazano, jakie cechy treści najbardziej zwiększają prawdopodobieństwo zacytowania przez silnik AI:
| Cecha techniczna i redakcyjna strony | Wpływ na szansę zacytowania w AI Search (GEO Benchmark) | Dlaczego Cross-Encoder Reranker to premiuje? |
|---|---|---|
| Twarde liczby, metryki i jednostki (np. „40 h → 15 min”, „TTFB 28 ms”, „99.4%”) |
+37% do +41% | Wysoka gęstość informacyjna (Information Gain) — model może oprzeć odpowiedź na weryfikowalnym fakcie. |
Tabele porównawcze HTML (<table>) i listy kroków |
+28% do +34% | Niski szum składniowy — parser DOM wyciąga gotową macierz cech bez utraty relacji między kolumnami. |
Pełny graf Schema.org JSON-LD + plik /llms.txt |
+25% do +32% | Jednoznaczna identyfikacja podmiotu (Organization, TechArticle), usług, cen i obszaru działania. |
| Ciężki kod JS, popupy i lanie wody bez konkretów | -64% (odrzucenie) | Niski stosunek treści do kodu (Signal-to-Noise Ratio) marnuje budżet tokenów ekstraktora. |
4. Jak powinien wyglądać wzorcowy plik /llms.txt i graf JSON-LD w 2026 roku?
Standard /llms.txt (zaproponowany przez Jeremy'ego Howarda z Answer.AI i wspierany przez nowoczesne crawlery oraz środowiska agentowe) działa jak mapa drogowa napisana w czystym Markdownie bezpośrednio dla modeli językowych. W połączeniu z prerenderowanym HTML (czas ładowania poniżej 0.4 s) oraz powiązanym grafem @graph w application/ld+json daje wyszukiwarkom AI kompletny zestaw faktów gotowych do zacytowania w pierwszym akapicie odpowiedzi.