Principalele companii AI ar trebui să compenseze creatorii de conținut pentru că și-au antrenat roboții de chat folosind munca lor. Chiar dacă acum includ și link-uri spre site-urile de unde preiau informații, utilizatorii AI nu dau click pe acele link-uri, iar asta a afectat traficul marilor companii din industria de publishing.
Motoarele de căutare sunt înlocuite
CEO-ul Cloudflare, Matthew Prince, a declarat că oamenii nu verifică linkurile sursă ale chatboților cu inteligență artificială. El a încurajat creatorii de conținut să se asigure că sunt compensați echitabil de către companiile de inteligență artificială care le folosesc conținutul.
Traficul care venea odată din motoarele de căutare către site-urile care publică articole continuă să scadă. Editorii se confruntă cu o amenințare existențială, a spus oficialul Cloudflare. Oamenii nu mai accesează linkurile pe care le menționează roboții de chat AI. Aceștia s-au obișnuit să se bazeze doar pe rezumatele inteligenței artificiale fără a aprofunda informațiile.
Matthew Prince a declarat pentru Axios că, în urmă cu 10 ani, Google trimitea unui editor un vizitator pentru fiecare două pagini accesate cu crawlere. În urmă cu șase luni, raportul era de un vizitator pentru fiecare șase pagini, iar acum este de unul pentru fiecare 18. OpenAI trimitea un vizitator unui editor pentru fiecare 250 de pagini accesate cu crawlere acum șase luni, în timp ce Anthropic trimitea un vizitator pentru fiecare 6.000 de pagini. În prezent, OpenAI trimite un vizitator unui editor pentru fiecare 1.500 de pagini, în timp ce Anthropic trimite un vizitator pentru fiecare 60.000 de pagini.
Fără trafic, creatorii de conținut nu mai înregistrează nici vizualizări pentru reclame, nici click-uri care odinioară le aduceau venituri importante. Prince a anunțat că Cloudflare lucrează în prezent la un instrument pentru a bloca boții care extrag conținut pentru modele lingvistice mari. Aceștia copiază datele chiar dacă o pagină web are deja o instrucțiune „fără crawling”. Mai multe publicații au raportat în 2024 că firmele de inteligență artificială au ignorat fișierele robots.txt ale site-urilor web și le-au preluat oricum conținutul pentru a-și antrena tehnologiile.
Cloudflare caută modalități de a bloca crawlerele AI încă de anul trecut. Compania a lansat oficial unealta AI Labyrinth, care folosește conținut generat de inteligență artificială pentru „a încetini, deruta și irosi resursele crawlerelor AI și ale altor boți care nu respectă directivele «fără crawling”. Funcționează prin conectarea unui crawler neautorizat la o serie de pagini generate de inteligență artificială, care sunt suficient de convingătoare, dar care nu conțin de fapt conținutul site-ului instrumentului pe care îl protejează. În acest fel, crawlerul ajunge să piardă timp și resurse.
