F1RSTIDProgram lima tahun ini mencoba memberi evaluator independen akses mendalam tanpa menjadikannya sekadar bagian dari tim yang dinilai.
Anthropic dan Accenture berkomitmen menginvestasikan setidaknya US$2 miliar untuk evaluasi model frontier. Unit Faculty milik Accenture akan menjalankan red-teaming, pengujian keselamatan, dan penilaian keselarasan.
Evaluasi tertanam menawarkan akses lebih luas
Evaluator yang bekerja dekat dengan pengembang dapat melihat model, proses, dan keputusan sebelum peluncuran. Mereka dapat menemukan masalah yang tidak terlihat dari pengujian publik. Namun kedekatan juga menciptakan risiko konflik kepentingan jika pendanaan berasal dari perusahaan yang dinilai.
Evaluator membutuhkan akses seperti orang dalam, tetapi kebebasan untuk menerbitkan temuan seperti pihak luar.
Mengapa topik ini penting?
Model semakin mampu memakai alat dan bertindak mandiri. Pengujian sesaat tidak cukup untuk memahami perubahan setelah pembaruan. Investasi besar dapat membangun profesi, metodologi, dan infrastruktur evaluasi, selama hasil penting dapat diperiksa publik dan standar berlaku lintas perusahaan.
Pelajaran untuk pembeli AI
Organisasi Indonesia perlu meminta laporan evaluasi, ruang lingkup uji, metode, konflik kepentingan, dan tindakan perbaikan. Label “telah diuji” tidak cukup tanpa bukti. Pengadaan juga harus mensyaratkan notifikasi ketika model berubah atau insiden baru ditemukan.