Brave își vinde indexul de căutare AI, iar site-ul dvs. este probabil în el prin @sejournal, @slobodanmanic

În acest context turbulent, se dezvăluie că Brave vinde accesul la indexul său de căutare diferitelor companii AI

Explorarea impactului indexării curajoase în contextul inteligenței artificiale și implicațiile pentru proprietarii de site-uri

Prezența unui site web într-o bază de date a motoarelor de căutare este un pilon fundamental al existenței online, un principiu pe care fiecare entitate digitală îl înțelege. În Brave Search, rezultatele obișnuite funcționează în mod tradițional: un utilizator face cereri, identifică pagina, accesează-o, iar interacțiunea se termină pe domeniu. Cu toate acestea, situația devine mult mai complexă prin integrarea răspunsurilor generate de AI, un aspect pe care The New York Times îl provoacă într-o acțiune nedreaptă.

În acest context turbulent, se dezvăluie că Brave vinde accesul la indexul său de căutare diferitelor companii AI, folosind un instrument numit Brave Search API. Când un asistent bazat pe AI are nevoie de informații actualizate din rețeaua globală, nu întotdeauna recurg la scanarea web directă; mai degrabă, pot plăti pentru a consulta indexul altora. Potrivit paginii despre noi a lui Brave, această interfață API este folosită de numele majore din AI, inclusiv Cohere, Mistral, Perplexity și You.com. De asemenea, secțiunea dedicată AI notează că indexul include peste 30 de miliarde de pagini, cu milioane de adăugări zilnic.

Acusația New York Times din 2 noiembrie a fost adresată companiei din spatele browser-ului și motorului de căutare al lui Brave. The Times susține că Brave a copiat peste 30 de miliarde de pagini web neidentificate sau a oferit proprietarilor de site-uri un mecanism pentru a bloca robotul de indexare, apoi a vândut conținutul entităților AI. Deși Brave nu a oferit încă un răspuns oficial, aceste afirmații rămân, pentru moment, doar acuzații.

O altă acuzație specifică în plângerea Times identifică cinci companii de AI care primesc date de la Brave: Anthropic, Perplexity, Mistral, xAI și Cohere. Este important de remarcat faptul că niciuna dintre aceste societăți nu este implicată în proceduri. În cazul lui Claude, situația este mai ambiguă datorită naturii veche a dovezilor. Plângerea se referă la un post publicat de Brave în 2023 care menționa antrenamentul Claude 2 de către Anthropic. În special, în martie 2025, TechCrunch a raportat că Anthropic a inclus Brave Search în lista sa de subcontractanți, companiile terțe pe care le folosește. O coincidență remarcabilă a avut loc în aceeași săptămână, când Simon Willison, un dezvoltator cunoscut pentru blogul său de instrumente AI, l-a rugat pe Claude să găsească informații despre pelicani; cele 10 rezultate citate de Claude se potrivesc perfect cu cele obținute printr-o căutare identică pe Brave.

Aspectul tehnic de blocare a robotului Brave prezintă dificultăți majore

Cu toate acestea, nu s-a putut stabili o confirmare a utilizării actuale a lui Brave de către Claude.

Aspectul tehnic de blocare a robotului Brave prezintă dificultăți majore. Mecanismul de luare a deciziilor al robotelor care pot accesa un site web este într-un mic fișier numit robots.txt, și acest lucru necesită ca roboții să aibă nume distincte. OpenAI și Anthropic publică în mod explicit propriile lor nume, permițând astfel permisiunea pentru unii roboți și blocând alții. Pe de altă parte, pagina de ajutor Brave, accesibilă prin intermediul link-ului menționat la începutul acestui text, afirmă că robotul său nu publică un agent de utilizare diferentiat. Pur și simplu, robotul Brave nu are o etichetă de identificare. Brave justifică acest lucru argumentând că unele site-uri acceptă Google, dar nu altele; prin urmare, un robot etichetat ca Brave ar fi fost respins. Compania susține că respectă regulile Google: orice nu este permis să fie citit de Googlebot, Brave nu va face nici el.

Acest lucru implică o dilemă binară: fie permite accesul Google sau exclude Brave; nicio soluție parțială nu este posibilă.

Pentru a evita indexarea de către Brave, pagina oferă soluția prin implementarea etichetei noindex, o instrucțiune care se aplică și Google. The New York Times descrie tactica lui Brave ca fiind refuzul de a dezvălui numele botului său de scraping web .

Experiența directă a unui proprietar de site-uri ilustră această problemă. O căutare curajoasă, efectuată la 3 noiembrie, folosind sintaxa `site:nohacks.co`, a expus 16 pagini ale domeniului meu pe prima pagină de rezultate, dintre care 13 erau articole. Mai mult, rezultatul Brave arată o descriere a paginii principale pe care am editat-o în aceeași zi, indicând că Brave folosește o copie stocată, nu o vizualizare în timp real a site-ului meu. În dosarul meu robots.txt, am listat 13 roboți AI, de la GPTBot la Bytespider, și am blocat Meta și ByteDance. Nu există nicio linie specifică de adăugat la Brave pentru că blocarea unui nume care nu există este extrem de dificilă. Pentru a vă verifica prezența, mergeți la search.brave.com și introduceți