Situs Berita Utama Semakin Sering Memblokir Mesin Pencari Web AI, Menurut Studi
Major news sites are increasingly blocking AI web crawlers, says study https://dailyai.com/2024/02/major-news-sites-are-increasingly-blocking-ai-web-crawlers-says-study/

Keterangan Gambar : Situs Berita Utama S

Sebuah studi dari Reuters Institute for the Study of Journalism di University of Oxford menemukan bahwa lebih banyak situs berita di seluruh dunia yang memblokir web crawler AI.

Studi ini, yang ditulis oleh Dr. Richard Fletcher, Direktur Riset di Reuters Institute for the Study of Journalism, menemukan bahwa hampir setengah (48%) situs berita paling populer di seluruh dunia sekarang tidak dapat diakses oleh web crawler OpenAI, dengan web crawler AI Google diblokir oleh 24% situs.

Web crawler AI dirancang untuk menjelajahi internet untuk mengumpulkan data untuk model AI seperti ChatGPT dan Gemini. Hal ini memastikan pasokan informasi terbaru yang penting untuk menjaga respons AI tetap akurat dan relevan.

Tanpa data segar, model AI akan terkunci dalam waktu dan tidak dapat beradaptasi dengan kemajuan dunia nyata. Jika model mengonsumsi terlalu banyak data berkualitas rendah dan dihasilkan oleh AI, mereka bahkan bisa mengalami keruntuhan model.

Jadi, mengapa situs berita memblokir web crawler AI? Mereka terutama khawatir tentang hak cipta dan kompensasi yang adil, ketakutan menyebarkan informasi yang salah, dan potensi kehilangan lalu lintas langsung ke situs berita.

Perusahaan AI memahami masalah di sini. Itulah mengapa mereka melakukan kesepakatan lisensi dengan perusahaan media seperti kesepakatan OpenAI dengan Axel Springer tahun lalu. Raksasa konten Reddit adalah perusahaan terbaru yang menggoda perusahaan AI dengan kesepakatan lisensi konten bernilai jutaan dolar.

Beberapa wawasan kunci dari laporan tersebut:

Pada akhir 2023, 48% platform berita terkemuka secara internasional telah membatasi akses ke web crawler OpenAI, dengan 24% melakukan hal yang sama untuk web crawler AI Google.

Tidakewajaran, 97% situs yang memblokir AI Google juga ditemukan memblokir web crawler OpenAI.

Kemungkinan situs web memblokir web crawler AI bervariasi secara signifikan menurut negara, dengan tingkat tertinggi teramati di AS (79%) dan terendah di Meksiko dan Polandia (20%).

Sepanjang 2023, tidak ada contoh situs web yang membatalkan keputusan mereka untuk memblokir web crawler AI.

Media berita yang lebih besar menunjukkan kecenderungan sedikit lebih tinggi untuk memblokir web crawler AI daripada yang lebih kecil.

Kecenderungan untuk memblokir bervariasi di berbagai jenis organisasi berita, dengan outlet media cetak tradisional lebih cenderung menerapkan pembatasan daripada penyiar atau platform berita digital pertama.

AS dan Jerman: Tingkat pemblokiran tertinggi untuk OpenAI dan Google AI masing-masing.

Meksiko dan Polandia: Tingkat pemblokiran terendah, menunjukkan pendekatan global yang beragam.

Digital-born vs Legacy: Outlet cetak warisan (57%) memimpin dalam pemblokiran, dibandingkan dengan outlet digital-born (31%).

Perusahaan berita jelas memperkuat pertahanan mereka terhadap web crawler AI, dan perusahaan AI kemungkinan besar perlu menemukan cara untuk menjaga model mereka tetap terbaru. Alternatifnya adalah mengerikan. Kinerja model AI akan meningkat, tetapi pengetahuan mereka akan menjadi usang secara perlahan hingga tidak relevan.

Semoga penjelasan ini membantu memahami isu yang sedang terjadi terkait pemblokiran web crawler AI oleh situs berita di seluruh dunia.