Media Utama Melarang Web Crawlers AI, Ungkap Studi Baru
Major news sites are progressively blocking AI web crawlers, says study https://dailyai.com/2024/02/major-news-sites-are-progressively-blocking-ai-web-crawlers-says-study/

Keterangan Gambar : Media Utama Melarang

Sebuah studi dari Reuters Institute for the Study of Journalism di University of Oxford menemukan bahwa lebih banyak situs berita di seluruh dunia yang memblokir web crawler AI.

Studi ini, yang ditulis oleh Dr. Richard Fletcher, Direktur Riset di Reuters Institute for the Study of Journalism, menemukan bahwa hampir setengah (48%) situs berita paling populer di seluruh dunia sekarang tidak dapat diakses oleh web crawler OpenAI, dengan 24% dari situs-situs ini memblokir web crawler AI dari Google.

Web crawler AI dirancang untuk menjelajahi internet untuk mengumpulkan data untuk model AI seperti ChatGPT dan Gemini. Hal ini memastikan pasokan informasi terbaru yang penting untuk menjaga respons AI tetap akurat dan relevan.

Tanpa data segar, model AI akan terkunci dalam waktu dan tidak dapat beradaptasi dengan perkembangan dunia nyata. Jika model-model mengonsumsi terlalu banyak data berkualitas rendah dan dihasilkan oleh AI, mereka bisa mengalami keruntuhan model.

Jadi, mengapa situs berita memblokir web crawler AI? Mereka terutama khawatir tentang hak cipta dan kompensasi yang adil, ketakutan akan penyebaran informasi yang salah, dan potensi kehilangan lalu lintas langsung ke situs berita.

Perusahaan AI memahami masalah di sini. Itulah mengapa mereka melakukan kesepakatan lisensi dengan perusahaan media, seperti kesepakatan OpenAI dengan Axel Springer tahun lalu.

Raksasa konten Reddit adalah perusahaan terbaru yang mencoba menarik perhatian perusahaan AI dengan kesepakatan lisensi konten bernilai jutaan dolar.

Saat AI terus merambah ke dalam kehidupan sehari-hari kita, strategi yang diadopsi oleh penerbit berita sebagai respons terhadap teknologi ini akan memainkan peran penting dalam membentuk lanskap informasi digital.

Berikut adalah beberapa wawasan kunci dari laporan tersebut:

Pada akhir 2023, 48% platform berita terkemuka secara internasional telah membatasi akses ke web crawler OpenAI, dengan 24% melakukan hal yang sama untuk web crawler AI Google.

Tidakewajaran, 97% situs yang memblokir web crawler Google juga memblokir web crawler OpenAI.

Kemungkinan situs web memblokir web crawler AI bervariasi secara signifikan menurut negara, dengan tingkat tertinggi diamati di AS (79%) dan terendah di Meksiko dan Polandia (20%).

Sepanjang 2023, tidak ada contoh situs web yang membatalkan keputusan mereka untuk memblokir web crawler AI.

Media berita yang lebih besar menunjukkan kecenderungan sedikit lebih tinggi untuk memblokir web crawler AI daripada yang lebih kecil.

Kecenderungan untuk memblokir bervariasi di berbagai jenis organisasi berita, dengan outlet media cetak tradisional lebih cenderung menerapkan pembatasan daripada penyiar atau platform berita digital pertama.

AS dan Jerman: Tingkat pemblokiran tertinggi untuk OpenAI dan Google AI masing-masing.

Meksiko dan Polandia: Tingkat pemblokiran terendah, menunjukkan pendekatan global yang beragam.

Digital-born vs Legacy: Outlet cetak warisan (57%) memimpin dalam pemblokiran, dibandingkan dengan outlet digital-born (31%).

Perusahaan berita jelas memperkuat pertahanan mereka terhadap web crawler AI, dan perusahaan AI kemungkinan perlu menyelesaikan masalah ini untuk menjaga model-model mereka tetap terbaru. Alternatifnya tidak dapat diterima - kinerja model AI akan meningkat, tetapi pengetahuan mereka akan menjadi usang hingga tidak relevan.