Bandaríska fyrirtækið Cloudflare byrjar í dag að meina vitvélum og leitarvélum með mörg verkefni að skrapa vefsíður án leyfis eða greiðslu. Skröpurum verður þá bannað að fylla í leitarskrár og þjálfa gervigreind á sama tíma.
Þessar breytingar þvinga gervigreindarfyrirtæki og leitarvélarfyrirtæki til þess að hugsa hvernig tækin þeirra sækja upplýsingar á veraldarvefinn. Það er ekki síst í krafti þess að Cloudflare þjónustar um það bil 20% af allri vefumferð heimsins.
Markmiðið er að hvetja gervigreindarfyrirtæki til þess að aðgreina tólin sem skanna vefsíður svo hægt sé að bera kennsl á hvert hlutverk þeirra er.
Reglurnar gilda sjálfkrafa fyrir vefsíður sem hafa auglýsingar. Viðskiptavinir Cloudflare geta hagað stillingum fyrir sín lén eins og þeim sýnist.
Þrenn hlutverk skrapara
Til þess að gera þessar breytingar hefur Cloudflare skilgreint vefumferð skrapara – bottana sem skríða um allt internetið og safna upplýsingunum – í þrjá flokka:
- Leit – Skráning upplýsinga í leitarskrá fyrir hefðbundnar leitarvélar (sjálfkrafa leyfð)
- Erindrekar – Umferð gervigreindarerindreka (e. AI agents) sem eru að leita að upplýsingum til þess að geta klárað verkefni sín. (sjálfkrafa lokað fyrir)
- Gervigreindarþjálfun – Skröpur sem sækja efni til þess að þjálfa eða fínstilla gervigreindarmódel. (sjálfkrafa lokað fyrir)
Ef gervigreindarbotti gegnir minnst tveimur þessara hlutverka þá fær hann ekki aðgang að vefsíðum sem hafa lokað fyrir minnst eitt hlutverk.
Viðskiptamódel Internetsins í vanda
Eigendur flestra vefsíðna vilja að vefirnir þeirra finnist í leitarvélum. Annars er erfitt fyrir vefsíður að vaxa eða finnast. Með tilkomu gervigreindar hefur orðið erfitt að vega sýnileika í leitarvélum og passa upp á höfundarréttarvarið efni sem birt er á vefnum.
Í tilkynningu Cloudflare segir að viðskiptamódel veraldarvefsins sé að hruni komið með tilkomu vitvéla. Í áratugi hafi ríkt einfalt kerfi viðskipta á vefnum: leitarvélar skrá efni vefsíðna og vísa notendum á þessar vefsíður, sem býr til vefumferð og auglýsingatekjur fyrir vefsíðurnar.
Stærstu leitarvélar í heimi – eins og Google – hafa hingað til notað skröpurnar sínar til þess að sækja efni í leitarvélina og til þess að þjálfa gervigreindartæki. Flestir vefstjórar þekkja líklega Googlebot, Bingbot og Applebot. Þetta eru einhverjar umfangsmestu skröpur á vefnum og allar hafa tvöfalt hlutverk.
Umferðin frá leitarvélum hrynur
Á síðustu misserum hafa orðið miklar breytingar á mynstri umferðar á internetinu. Í byrjun sumars varð vefumferð vitvéla og botta meiri en vefumferð manneskja.
Þetta þóttu nokkur tímamót og komu fyrr en búist var við – vitvélar áttu ekki að taka fram úr mannfólki fyrr en á næsta ári.
Rannsóknir á vefumferð sýna að tilvísunum frá Google-leitarvélinni á stórar bandarískar fréttavefsíðurfækkaði um 42% síðan gervigreind var látin gera samantektir í leitarvélum árið 2024. Litlar vefsíður finna jafnvel enn betur fyrir þessum breytingum og hafa sumar tapað 60% tilvísana milli ára.
Ástæðan er helst sögð vera gervigreindartól sem draga saman niðurstöður og birta þær beint til notandans, án þess að senda hann á upprunalegu síðuna.
Önnur rannsókn sýnir að á sama tíma er höfundarréttarvarið efni frá fréttamiðlum um 14% af því sem gervigreindartól Google og OpenAI vísa til í svörum sínum.
Gervigreindarspjallbottar vísa notendum samt líka á vefsíður ef þeir eru beðnir um það. Á tilvísunum frá spjallbottunum má augljóslega greina gríðarlega aukningu í notkun gervigreindar: tilvísanaumferð frá spjallbottum sextánfaldaðist frá 2024 til 2026. Nærri 75% af allri þessari umferð var frá ChatGPT.
Mikilvægt til þess að gera Internetið sjálfbært
„Ef Internetið á að lifa gervigreindaröldina af, þá þarf að færa útgefendum þau verkfæri sem þeir þurfa,“ er haft eftir Matthew Prince, framkvæmdastjóra og einum stofnenda Cloudflare, þegar Cloudflare kynnti breytingarnar í sumar.
„Nú þegar meirihluti vefumferðar er ekki frá manneskjum verðum við að ganga lengra og hraðar til verks svo umhverfið verði sjálfbært,“ sagði Prince enn fremur í viðtali við Techcrunch.
„Nýju verkfærin hjá Cloudflare færa eigendum vefsíðna aukinn sýnileika og viðskiptatækifæri á vefnum. Og gervigreindarfyrirtækin hagnast á því að hafa botta með skýran og gegnsæjan tilgang,“ sagði Prince.
„Efni sem frumunnið er vefinn er eitt af því sem gerir veraldarvefinn eina af merkilegustu uppfinningum síðustu aldar,“ er haft eftir Prince í fréttatilkynningunni. „Og það er nauðsynlegt að efnið sé áfram búið til.“
