Panduan Praktis Mengukur dan Meningkatkan Kinerja AI dalam Lingkungan Kerja

Panduan Praktis Mengukur dan Meningkatkan Kinerja AI dalam Lingkungan Kerja

Kecerdasan buatan atau Artificial Intelligence (AI) semakin banyak digunakan untuk mendukung aktivitas profesional. Teknologi ini dapat membantu menyusun draf, merangkum dokumen, menganalisis data, mengelompokkan informasi, membantu layanan pelanggan, hingga mempercepat berbagai pekerjaan administratif.

Namun, menggunakan AI tidak otomatis membuat sebuah organisasi menjadi lebih produktif. Sistem yang mampu menghasilkan jawaban dalam beberapa detik belum tentu memberikan hasil yang akurat, relevan, aman, atau benar-benar menghemat waktu karyawan.

Karena itu, organisasi membutuhkan cara yang jelas untuk mengukur kinerja AI berdasarkan dampaknya terhadap pekerjaan nyata.

Evaluasi juga sebaiknya tidak hanya dilakukan ketika sistem pertama kali diterapkan. Perubahan data, kebutuhan pengguna, prosedur kerja, teknologi, dan pola penggunaan dapat memengaruhi performa sistem dari waktu ke waktu.

NIST melalui AI Risk Management Framework menyediakan kerangka yang dapat menjadi referensi organisasi dalam mengelola risiko dan penggunaan AI secara lebih sistematis.

Artikel ini membahas langkah praktis untuk menentukan tujuan, memilih metrik, membangun baseline, mengevaluasi output, melakukan monitoring, serta meningkatkan kinerja AI secara berkelanjutan.

1. Tentukan Tujuan Penggunaan AI Sejak Awal

Langkah pertama sebelum mengukur performa adalah menentukan apa yang sebenarnya ingin dicapai dengan AI.

Setiap implementasi memiliki tujuan berbeda. AI yang digunakan untuk membuat ringkasan laporan tidak dapat dinilai menggunakan indikator yang sepenuhnya sama dengan AI untuk mengklasifikasikan tiket pelanggan atau membantu menganalisis dokumen.

Organisasi dapat memulainya dengan beberapa pertanyaan:

• Masalah apa yang ingin diselesaikan?
• Siapa yang akan menggunakan sistem AI?
• Pekerjaan apa yang diharapkan menjadi lebih cepat?
• Bagaimana kualitas output akan diperiksa?
• Apa konsekuensi apabila AI memberikan hasil yang salah?
• Berapa banyak intervensi manusia yang masih diperlukan?
• Berapa biaya penggunaan AI?
• Apakah AI benar-benar mengurangi pekerjaan manual?

Misalnya, sebuah tim membutuhkan rata-rata 25 menit untuk membuat ringkasan laporan secara manual. Setelah menggunakan AI, draf dapat dihasilkan dalam dua menit, kemudian membutuhkan lima menit untuk diverifikasi dan diperbaiki.

Artinya, pengukuran sebaiknya tidak hanya mencatat bahwa AI mampu menghasilkan draf dalam dua menit.

Metrik yang lebih relevan adalah total waktu penyelesaian tugas setelah AI dimasukkan ke dalam alur kerja.

AI yang cepat belum tentu produktif. Nilai sebenarnya muncul ketika teknologi mampu memperbaiki hasil atau mengurangi pekerjaan tanpa menimbulkan risiko yang tidak sebanding.

Tujuan yang jelas kemudian menjadi dasar dalam menentukan indikator yang digunakan pada tahap berikutnya.

2. Gunakan Metrik yang Sesuai dengan Pekerjaan

Tidak ada satu metrik yang mampu menjelaskan seluruh performa AI. Organisasi sebaiknya menggunakan kombinasi antara metrik kualitas, operasional, produktivitas, dan bisnis.

Metrik kualitas dapat meliputi:

• Akurasi informasi.
• Relevansi jawaban.
• Kelengkapan output.
• Konsistensi hasil.
• Persentase hasil yang membutuhkan revisi.
• Persentase hasil yang dapat langsung digunakan.

Metrik operasional dapat meliputi:

• Waktu respons.
• Tingkat kegagalan sistem.
• Ketersediaan layanan.
• Volume pekerjaan yang dapat diproses.
• Penggunaan sumber daya.
• Biaya per tugas.

Untuk mengetahui dampaknya terhadap lingkungan kerja, organisasi dapat menambahkan indikator produktivitas:

1. Waktu penyelesaian tugas.
2. Jumlah pekerjaan yang selesai per hari.
3. Jumlah intervensi manusia.
4. Waktu yang dibutuhkan untuk memeriksa output AI.
5. Tingkat adopsi AI oleh karyawan.
6. Kepuasan pengguna internal.

Pendekatan tersebut membantu organisasi melihat performa AI secara lebih menyeluruh dan tidak hanya berdasarkan kemampuan teknis model.

Menghubungkan Metrik AI dengan Produktivitas

Metrik teknis akan lebih bermanfaat apabila dihubungkan dengan hasil pekerjaan manusia.

Misalnya, AI menghasilkan sebuah laporan dalam 30 detik. Angka tersebut terlihat sangat cepat.

Namun, apabila seorang karyawan masih membutuhkan 20 menit untuk memperbaiki informasi yang salah, keuntungan produktivitasnya menjadi jauh lebih kecil.

Sebaliknya, apabila sebelumnya pekerjaan membutuhkan 30 menit dan setelah menggunakan AI seluruh proses hanya membutuhkan delapan menit termasuk pemeriksaan manusia, manfaatnya lebih mudah dibuktikan.

Rumus sederhana yang dapat digunakan adalah:

Waktu dihemat = waktu proses manual - total waktu proses dengan AI

Organisasi kemudian dapat menggabungkan indikator tersebut dengan tingkat kualitas output.

Dengan begitu, peningkatan produktivitas tidak diperoleh dengan mengorbankan akurasi.

AI seharusnya memperbaiki keseluruhan proses, bukan sekadar mempercepat satu tahapan kecil di dalamnya.

3. Buat Baseline Sebelum Melakukan Optimasi

Salah satu komponen penting dalam evaluasi adalah baseline.

Baseline merupakan kondisi awal yang digunakan sebagai titik pembanding. Tanpa baseline, organisasi akan kesulitan menentukan apakah perubahan yang terjadi benar-benar merupakan peningkatan.

Misalnya, sebelum AI digunakan diperoleh data:

• Waktu rata-rata per tugas: 30 menit.
• Tingkat revisi: 14%.
• Biaya per tugas: Rp25.000.
• Kapasitas: 16 tugas per hari.

Setelah AI digunakan:

• Waktu rata-rata per tugas: 14 menit.
• Tingkat revisi: 10%.
• Biaya per tugas: Rp18.000.
• Kapasitas: 27 tugas per hari.

Data tersebut memberikan gambaran yang lebih objektif dibandingkan sekadar menyatakan bahwa sistem AI terasa lebih cepat.

Baseline juga dapat digunakan ketika organisasi mengganti model, memperbarui prompt, menambahkan sumber data, atau mengubah alur kerja.

Setiap hasil pengujian sebaiknya disimpan agar perubahan dapat dibandingkan secara konsisten.

Google membahas monitoring sistem machine learning produksi melalui panduan monitoring pipeline ML.

Referensi tersebut dapat membantu memahami mengapa performa sistem perlu terus diperiksa setelah digunakan dalam lingkungan produksi.

4. Evaluasi Output AI Menggunakan Sampel Representatif

Pengujian AI sebaiknya menggunakan data yang mendekati kondisi pekerjaan sebenarnya.

Jangan hanya menggunakan contoh yang mudah.

Jika AI digunakan untuk menjawab pertanyaan pelanggan, dataset pengujian dapat berisi:

• Pertanyaan sederhana.
• Pertanyaan kompleks.
• Permintaan ambigu.
• Informasi yang tidak lengkap.
• Istilah khusus.
• Kasus yang jarang terjadi.
• Kasus yang membutuhkan eskalasi kepada manusia.

Kemudian buat rubrik penilaian yang konsisten.

Contohnya:

1. Akurasi: apakah informasi yang diberikan benar?
2. Relevansi: apakah output sesuai dengan permintaan?
3. Kelengkapan: apakah informasi penting sudah tersedia?
4. Kejelasan: apakah hasil mudah dipahami?
5. Konsistensi: apakah kasus serupa memperoleh kualitas yang relatif konsisten?
6. Keamanan: apakah hasil sesuai dengan kebijakan organisasi?

Setiap indikator dapat diberi nilai 1 sampai 5.

Hasil pengujian kemudian dibandingkan dengan baseline atau versi sistem sebelumnya.

NIST menyediakan referensi AI Measurement and Evaluation yang membahas pengukuran dan evaluasi sistem AI.

Kombinasikan Evaluasi Otomatis dan Manusia

Evaluasi otomatis sangat membantu ketika organisasi menangani output dalam jumlah besar.

Beberapa indikator yang relatif mudah diperiksa secara otomatis antara lain:

• Waktu respons.
• Status keberhasilan proses.
• Format output.
• Penggunaan sumber daya.
• Biaya.
• Panjang jawaban.
• Kepatuhan terhadap struktur tertentu.

Namun, tidak semua kualitas dapat dinilai hanya menggunakan angka.

Penilaian manusia masih penting untuk mengevaluasi:

• Relevansi.
• Kejelasan bahasa.
• Kegunaan output.
• Ketepatan konteks.
• Nuansa komunikasi.
• Kasus ambigu.
• Kelayakan hasil untuk digunakan.

Karena itu, strategi yang lebih seimbang adalah menggabungkan evaluasi otomatis dengan human review.

Sistem dapat memeriksa indikator teknis secara otomatis, sedangkan manusia memeriksa sampel tertentu untuk memastikan kualitas output tetap sesuai kebutuhan.

5. Lakukan Monitoring Setelah AI Digunakan

Kinerja yang baik selama pengujian tidak menjamin sistem akan selalu memberikan hasil yang sama.

Data dapat berubah. Pola pertanyaan pengguna dapat berkembang. Kebijakan perusahaan dapat diperbarui. Sistem lain yang menjadi sumber informasi juga dapat mengalami perubahan.

Inilah alasan monitoring berkelanjutan menjadi bagian penting dalam pengelolaan AI.

Dashboard internal dapat mencatat:

• Jumlah penggunaan AI.
• Waktu respons rata-rata.
• Tingkat kegagalan.
• Biaya penggunaan.
• Persentase output yang direvisi.
• Skor kualitas.
• Jumlah eskalasi kepada manusia.
• Tingkat kepuasan pengguna.

Organisasi juga dapat menentukan ambang batas.

Misalnya, dalam kondisi normal sekitar 8% output membutuhkan revisi besar. Apabila angka tersebut tiba-tiba meningkat menjadi 20%, sistem dapat ditandai untuk diperiksa.

Tim kemudian dapat mencari penyebabnya.

Apakah terjadi perubahan data? Apakah prompt berubah? Apakah model diperbarui? Apakah pola pekerjaan pengguna berubah?

Monitoring membantu tim menemukan masalah sebelum dampaknya menyebar ke lebih banyak pekerjaan.

Sumber: Google for Developers — Production ML Systems: Monitoring Pipelines

6. Tingkatkan Kinerja AI Secara Bertahap

Ketika masalah ditemukan, hindari melakukan terlalu banyak perubahan sekaligus.

Gunakan proses perbaikan yang terstruktur:

1. Identifikasi masalah berdasarkan data.
2. Kumpulkan contoh kegagalan.
3. Tentukan kemungkinan penyebab.
4. Pilih satu perubahan utama.
5. Jalankan pengujian.
6. Bandingkan hasil dengan baseline.
7. Dokumentasikan perubahan.
8. Terapkan perubahan jika memberikan peningkatan.
9. Pantau kembali performanya.

Misalnya, AI menghasilkan jawaban yang terlalu panjang.

Tim dapat mengubah instruksi agar output lebih ringkas, kemudian menjalankan dataset evaluasi yang sama.

Jika hasil menjadi lebih baik tanpa menurunkan kelengkapan informasi, perubahan dapat dipertahankan.

Jika tidak, tim dapat mencoba pendekatan lain.

Riwayat perubahan sebaiknya mencatat:

• Versi model.
• Versi prompt.
• Konfigurasi sistem.
• Dataset pengujian.
• Hasil evaluasi.
• Tanggal perubahan.
• Penanggung jawab.
• Alasan perubahan.

Pendekatan tersebut membantu organisasi mengetahui mengapa performa berubah dan mempermudah proses evaluasi ketika muncul masalah baru.

Untuk pembahasan terkait otomatisasi dalam proses kerja, baca juga [panduan membangun sistem otomatisasi proses bisnis digital](#membangun-sistem-otomatisasi-proses-bisnis-digital-untuk-efisiensi-operasional).

7. Jadikan Evaluasi AI sebagai Proses Berkelanjutan

Evaluasi AI bukan pekerjaan yang selesai setelah sistem diluncurkan.

Organisasi perlu membangun siklus:

Ukur → Evaluasi → Perbaiki → Uji → Monitor → Ulangi

Pendekatan tersebut membuat penggunaan AI lebih mudah dikendalikan karena keputusan tidak hanya didasarkan pada asumsi.

Selain itu, tingkat pemeriksaan manusia dapat disesuaikan dengan risiko pekerjaan.

Contohnya:

• Brainstorming → pemeriksaan ringan.
• Ringkasan dokumen internal → pemeriksaan pengguna.
• Laporan bisnis → verifikasi data.
• Informasi penting → pemeriksaan lebih ketat.
• Keputusan berisiko tinggi → evaluasi oleh pihak yang memiliki kewenangan dan keahlian terkait.

Kerangka NIST AI Risk Management Framework dapat menjadi salah satu referensi untuk memahami pengelolaan risiko AI secara sistematis.

Pada akhirnya, pertanyaan terpenting bukanlah seberapa canggih AI yang digunakan?

Pertanyaan yang lebih relevan adalah:

Apakah AI membantu manusia menyelesaikan pekerjaan dengan lebih efisien, tetap berkualitas, dapat diperiksa, dan memberikan manfaat yang sebanding dengan biaya serta risikonya?

Apabila jawabannya dapat dibuktikan menggunakan data, organisasi mempunyai dasar yang lebih kuat untuk memperluas implementasi AI.

Sebaliknya, apabila manfaatnya belum dapat diukur, organisasi dapat kembali mengevaluasi proses, dataset, prompt, model, atau cara AI dimasukkan ke dalam alur kerja.

AI yang efektif bukan sekadar AI yang menghasilkan jawaban dengan cepat, tetapi AI yang memberikan peningkatan nyata terhadap kualitas dan produktivitas pekerjaan.

Dengan menetapkan tujuan, membuat baseline, menentukan metrik, melakukan evaluasi manusia, memonitor sistem, dan menjalankan perbaikan berkelanjutan, organisasi dapat menggunakan AI secara lebih terukur dan bertanggung jawab.