Go-live biasanya menjadi salah satu milestone penting dalam implementasi AI. Pada tahap ini, use case sudah ditentukan, model atau AI service sudah dipilih, integrasi dengan sistem lain telah selesai, testing menunjukkan hasil yang sesuai, dan aplikasi mulai digunakan oleh user dalam production environment.
Namun, kondisi saat aplikasi pertama kali diluncurkan tidak selalu sama dengan kondisi beberapa bulan setelahnya. Data yang digunakan dapat berubah, dokumen di dalam knowledge base terus diperbarui, jumlah pengguna bertambah, application dependency mengalami update, dan AI service yang digunakan juga dapat berkembang seiring waktu.
Perubahan tersebut tidak selalu membuat aplikasi berhenti bekerja. Dalam banyak kasus, AI tetap dapat menerima request, menghasilkan response, dan seluruh infrastructure component juga masih terlihat normal dari sisi monitoring. Masalah baru muncul ketika kualitas hasil yang diterima user mulai berubah, misalnya jawaban menjadi kurang relevan, informasi yang digunakan tidak lagi sesuai dengan kondisi terbaru, response time meningkat, atau biaya penggunaan model bertambah lebih cepat dari estimasi awal.
Situasi seperti ini menunjukkan bahwa keberhasilan AI di production tidak cukup dinilai dari availability. Organisasi juga perlu memahami apakah output yang dihasilkan masih sesuai dengan kebutuhan bisnis, apakah data dan knowledge yang digunakan tetap relevan, apakah integration masih bekerja dengan benar, serta apakah cost dan security masih berada dalam kondisi yang dapat dikendalikan.
Di sinilah kebutuhan terhadap AI operations mulai menjadi lebih penting.
AI application di enterprise environment hampir tidak pernah bekerja sebagai satu komponen yang berdiri sendiri. Di belakang sebuah aplikasi terdapat kombinasi antara data source, application layer, database, API, cloud infrastructure, identity management, security policy, hingga model atau AI service yang digunakan.
Pada Generative AI application, arsitekturnya dapat menjadi lebih kompleks. Sebuah internal AI assistant, misalnya, dapat menggunakan Large Language Model untuk menghasilkan response, Retrieval-Augmented Generation atau RAG untuk mengambil informasi dari corporate knowledge base, vector database untuk menyimpan embedding, API untuk terhubung dengan business application, dan guardrail untuk mengontrol bagaimana AI berinteraksi dengan user.
Selama development dan testing, seluruh komponen tersebut biasanya diuji berdasarkan kondisi tertentu. Data sudah dipersiapkan, document source telah divalidasi, integration telah diuji, dan jumlah user masih relatif terbatas. Setelah aplikasi digunakan di production, kondisi tersebut mulai berubah mengikuti aktivitas bisnis yang sebenarnya.
Contohnya dapat dilihat pada internal knowledge base. Perusahaan terus memperbarui product documentation, SOP, kebijakan, maupun informasi lain yang digunakan dalam kegiatan operasional. Jika salah satu pembaruan tidak berhasil masuk ke indexing pipeline yang digunakan oleh AI, model tetap dapat menghasilkan response meskipun context yang diterimanya sudah tidak sesuai dengan informasi terbaru.
Hal yang sama juga dapat terjadi pada integration layer. Sebuah API yang digunakan AI untuk mengambil informasi dari CRM, ERP, atau sistem lain dapat mengalami perubahan pada data structure, authentication, atau endpoint. Perubahan tersebut tidak selalu menyebabkan service berhenti bekerja sepenuhnya, tetapi dapat membuat data yang diterima aplikasi menjadi tidak lengkap.
Karena itu, ketika AI sudah digunakan dalam production environment, organisasi perlu memiliki visibility terhadap keseluruhan application stack yang membentuk sistem tersebut.
Traditional application monitoring biasanya berfokus pada indikator seperti availability, latency, error rate, network performance, dan resource utilization. Semua indikator tersebut tetap dibutuhkan karena AI application masih bergantung pada infrastructure dan application service yang sama seperti sistem digital lainnya.
Namun, AI menambahkan dimensi baru terhadap konsep system health. Sebuah GenAI endpoint dapat tetap memberikan response dengan latency yang normal, sementara kualitas hasilnya mengalami penurunan akibat perubahan pada data, retrieval process, knowledge source, atau application configuration.
Misalnya, sebuah AI assistant tetap dapat menerima pertanyaan dari user dan menghasilkan response dalam waktu dua detik. Dari sisi infrastructure, kondisi tersebut terlihat normal. Namun, jika retrieval system mulai mengambil document context yang tidak relevan atau knowledge source belum mendapatkan update terbaru, jawaban yang diberikan kepada user tetap dapat menjadi kurang tepat.
Dalam kondisi seperti ini, infrastructure monitoring tidak akan selalu menunjukkan anomaly karena tidak terjadi outage atau error yang signifikan. Padahal dari sisi user, kualitas aplikasi sudah mengalami perubahan.
Karena itu, operational health pada AI application perlu mencakup lebih dari availability dan system performance. Organisasi juga perlu memonitor kualitas output, relevance, knowledge freshness, retrieval performance, security, cost, serta indikator lain yang berkaitan langsung dengan tujuan dari use case tersebut.
Ketika AI menghasilkan output yang kurang sesuai, model sering menjadi komponen pertama yang diperiksa. Padahal dalam production environment, masalah dapat berasal dari berbagai dependency yang berada di sekitar model.
Perubahan pada data, misalnya, dapat memengaruhi behaviour aplikasi. Pada traditional machine learning, kondisi tersebut sering dikaitkan dengan data drift atau model drift. Dalam Generative AI, perubahan kualitas dapat muncul dalam bentuk response yang kurang relevan, retrieval yang tidak tepat, informasi yang tidak lagi current, atau output yang menjadi lebih tidak konsisten.
Knowledge freshness juga memiliki peran yang cukup besar, khususnya pada aplikasi yang menggunakan RAG. Model dapat berfungsi dengan baik, tetapi jika source document yang digunakan tidak lagi up to date, hasil yang diberikan kepada user tetap dapat bermasalah.
Retrieval layer juga dapat menjadi sumber perubahan. Pembaruan pada embedding model, chunking strategy, metadata, indexing configuration, atau search method dapat memengaruhi context yang dikirimkan ke model. Karena seluruh service masih dapat berjalan secara normal, masalah pada area ini cukup mudah terlewat apabila monitoring hanya dilakukan pada level infrastructure.
Selain itu, perubahan pada prompt, application logic, external API, security configuration, maupun model service dari provider juga dapat menghasilkan behaviour yang berbeda dari saat aplikasi pertama kali diuji.
Oleh karena itu, diagnosis terhadap AI incident perlu melihat keseluruhan system dependency, bukan langsung mengasumsikan bahwa masalah berada pada model.
Ketika AI masih berada pada tahap proof of concept atau pilot, biaya penggunaannya relatif mudah diperkirakan karena workload dan jumlah user masih terbatas. Kondisi tersebut dapat berubah cukup signifikan setelah aplikasi digunakan secara lebih luas.
Peningkatan jumlah user akan meningkatkan jumlah request dan token consumption. Kebutuhan context yang lebih besar juga dapat membuat prompt menjadi lebih panjang. Pada agentic application, satu request bahkan dapat memicu beberapa model call, API call, atau workflow sebelum menghasilkan final response.
Akibatnya, aplikasi dapat tetap bekerja dengan baik secara teknis tetapi memiliki operating cost yang terus meningkat.
Karena itu, AI operations juga perlu memberikan visibility terhadap inference cost, token usage, model consumption, infrastructure utilization, dan request pattern. Informasi tersebut membantu organisasi memahami apakah pertumbuhan penggunaan AI masih sejalan dengan business value yang dihasilkan.
Hal ini menjadi semakin penting ketika AI mulai digunakan dalam skala besar atau menjadi bagian dari business process yang berjalan secara terus-menerus.
Tidak ada satu set metric yang dapat digunakan untuk seluruh AI application.
Fraud detection system membutuhkan indikator yang berbeda dibandingkan internal GenAI assistant. AI untuk document processing juga memiliki operational requirement yang berbeda dengan recommendation engine atau customer service chatbot.
Karena itu, organisasi perlu menentukan terlebih dahulu kondisi seperti apa yang dianggap sehat untuk setiap use case.
Pada internal knowledge assistant, misalnya, indikator yang relevan dapat mencakup response relevance, retrieval quality, knowledge freshness, latency, availability, dan user feedback. Sementara pada predictive AI, indikator yang lebih penting dapat berupa accuracy, false positive rate, precision, recall, atau model drift.
Definisi tersebut kemudian dapat digunakan untuk menentukan baseline, evaluation method, threshold, monitoring rule, serta escalation process ketika terjadi perubahan yang signifikan.
Dengan pendekatan ini, monitoring tidak hanya menghasilkan dashboard yang penuh dengan metric, tetapi memberikan informasi yang benar-benar berkaitan dengan apakah AI masih memenuhi tujuan bisnis yang sebelumnya sudah ditentukan.
AI application biasanya melibatkan beberapa tim sekaligus. Business team memahami outcome yang ingin dicapai, AI atau data team memahami model dan evaluation, application team mengelola integration serta runtime, infrastructure team memastikan platform tetap tersedia, sementara security dan governance team menangani access, policy, dan risk management.
Pembagian tersebut dapat berjalan dengan baik selama masalah yang muncul masih berada dalam satu area yang jelas. Tantangan mulai muncul ketika incident melibatkan lebih dari satu komponen.
Ketika user melaporkan bahwa response AI mulai tidak relevan, misalnya, penyebabnya dapat berasal dari model, knowledge source yang belum diperbarui, retrieval configuration, API yang memberikan data tidak lengkap, atau application configuration yang berubah.
Tanpa operational ownership yang jelas, troubleshooting dapat berlangsung lebih lama karena masing-masing tim hanya memiliki visibility terhadap bagian sistem yang menjadi tanggung jawabnya.
Karena itu, AI operations tidak hanya berkaitan dengan monitoring tool. Organisasi juga perlu mendefinisikan bagaimana issue dideteksi, siapa yang melakukan diagnosis, kapan incident perlu diescalate, siapa yang melakukan remediation, serta bagaimana kualitas aplikasi divalidasi kembali setelah perubahan dilakukan.
Operational ownership menjadi semakin penting ketika AI digunakan untuk proses yang memiliki business impact lebih besar.
Monitoring memberikan visibility terhadap kondisi aplikasi, tetapi proses operasional tidak berhenti setelah anomaly berhasil ditemukan.
Ketika terjadi perubahan pada response quality, tim tetap perlu menentukan sumber masalah, memahami impact, menentukan owner yang relevan, melakukan remediation, dan menjalankan evaluation kembali untuk memastikan aplikasi sudah kembali ke kondisi yang diharapkan.
Hasil dari incident tersebut juga dapat digunakan untuk memperbaiki operational process. Jika sebuah masalah baru diketahui setelah user menyampaikan complaint, organisasi dapat menambahkan evaluation atau monitoring rule baru agar kondisi serupa dapat diketahui lebih awal. Jika root cause berasal dari perubahan pada integration, monitoring terhadap dependency tersebut dapat diperkuat.
Pendekatan inilah yang menjadi bagian dari Managed AI Operations.
Managed AI Operations dapat dipahami sebagai pengelolaan AI application secara berkelanjutan setelah deployment, dengan cakupan yang dapat meliputi monitoring, AI quality evaluation, data, infrastructure, security, incident management, cost management, dan continuous optimization.
Dalam konteks ini, fokusnya bukan hanya memastikan bahwa service tetap available, tetapi memastikan bahwa AI tetap menghasilkan output yang sesuai ketika data, workload, infrastructure, dan business requirement terus berubah.
Operational health sebuah AI application dapat dilihat melalui beberapa area yang saling berkaitan.
Quality berkaitan dengan apakah output AI masih memenuhi expectation yang sudah ditentukan. Metric yang digunakan dapat berupa accuracy, relevance, evaluation score, response consistency, task completion rate, maupun user feedback, tergantung pada karakteristik use case.
Data mencakup kualitas dan freshness informasi yang digunakan oleh AI. Pada RAG application, area ini dapat mencakup document lifecycle, indexing process, embedding, retrieval source, dan knowledge freshness.
Reliability berhubungan dengan availability dan performance dari model endpoint, API, database, vector store, network, dan dependency lain yang menjadi bagian dari application stack.
Security mencakup bagaimana AI mengakses dan menangani informasi, termasuk identity, permission, sensitive data, guardrail, policy enforcement, dan auditability.
Cost membantu organisasi memahami perubahan pada model consumption, token usage, infrastructure usage, storage, dan pola request setelah adoption meningkat.
Sementara itu, governance memberikan struktur terhadap ownership, change management, incident record, dan policy yang berlaku selama AI digunakan dalam production.
Area tersebut tidak dapat dilihat secara terpisah karena masalah yang terlihat pada satu sisi sering kali memiliki root cause di area lain. Response quality dapat menurun karena stale data, latency dapat meningkat akibat dependency eksternal, sementara cost dapat bertambah karena perubahan pada application flow atau model selection.
Karena itu, visibility terhadap AI production environment perlu dibangun secara end-to-end.
Bayangkan sebuah perusahaan menggunakan internal GenAI assistant untuk membantu employee mencari informasi mengenai produk, SOP, dan kebijakan internal. AI tersebut menggunakan RAG untuk mengambil informasi dari corporate documentation sebelum memberikan response kepada user.
Pada saat implementasi, evaluation menunjukkan bahwa retrieval dan response quality sudah memenuhi kebutuhan. Seluruh document source telah berhasil di-index, integration bekerja dengan baik, dan aplikasi kemudian mulai digunakan dalam kegiatan sehari-hari.
Beberapa bulan setelahnya, perusahaan memperbarui salah satu product line dan mempublikasikan documentation baru. Namun, karena terdapat issue pada indexing pipeline, sebagian dokumen tersebut tidak berhasil masuk ke knowledge source yang digunakan oleh AI.
Secara teknis, aplikasi masih berfungsi. Model endpoint tersedia, API tetap berjalan tanpa error, vector database masih dapat diakses, dan user tetap menerima response. Masalah baru terlihat ketika AI mulai memberikan informasi yang merujuk pada documentation versi sebelumnya.
Pada kasus ini, incident bukan berasal dari infrastructure outage. Perubahan terjadi pada knowledge freshness dan pada akhirnya memengaruhi output quality.
Jika monitoring hanya dilakukan pada availability dan infrastructure health, kondisi tersebut kemungkinan baru diketahui setelah user menemukan informasi yang tidak sesuai. Sebaliknya, monitoring yang juga melihat indexing status, knowledge freshness, retrieval performance, dan output evaluation dapat membantu mendeteksi perubahan lebih awal.
Contoh ini menunjukkan mengapa pengelolaan AI di production membutuhkan visibility yang lebih luas dibandingkan traditional application monitoring.
MLOps lebih dahulu berkembang sebagai pendekatan untuk mengelola lifecycle machine learning, mulai dari model development, training, versioning, testing, deployment, hingga monitoring.
Namun, banyak modern AI application tidak sepenuhnya menggunakan model yang dibangun dan dilatih sendiri oleh organisasi. Generative AI application dapat menggunakan foundation model dari external provider dan menggabungkannya dengan enterprise data, RAG, vector database, prompt, API, orchestration, guardrail, serta cloud infrastructure.
Dalam architecture seperti ini, production issue tidak selalu berasal dari model lifecycle. Root cause dapat muncul pada knowledge pipeline, retrieval layer, integration, security configuration, model service, atau infrastructure.
Managed AI Operations memiliki cakupan yang lebih luas karena melihat AI application sebagai satu production environment yang terdiri dari berbagai dependency. MLOps tetap relevan ketika organisasi memiliki model lifecycle yang perlu dikelola, tetapi operational requirement dapat berkembang jauh lebih luas pada Generative AI application.
Pada tahap proof of concept, monitoring dan operational process biasanya masih dapat dilakukan langsung oleh project team karena jumlah user terbatas, dependency belum terlalu banyak, dan dampak dari sebuah incident juga masih relatif kecil.
Situasinya berbeda ketika AI mulai menjadi bagian dari aktivitas bisnis yang penting.
Aplikasi yang digunakan oleh banyak employee, terhubung dengan enterprise system, melayani customer, memproses sensitive information, atau ikut mendukung business decision membutuhkan operational model yang lebih matang.
Pada fase tersebut, organisasi perlu mengetahui bagaimana perubahan pada kualitas dapat terdeteksi, siapa yang menangani integration issue, bagaimana incident dicatat, kapan model atau configuration perlu dievaluasi kembali, serta bagaimana security dan cost tetap dikelola ketika workload meningkat.
Semakin besar business impact sebuah AI application, semakin sulit bagi organisasi untuk mengandalkan pendekatan reaktif yang baru berjalan setelah user melaporkan masalah.
Tidak ada batas waktu tertentu yang menentukan kapan sebuah AI application mulai mengalami perubahan. Issue dapat muncul beberapa hari setelah deployment, beberapa minggu kemudian, atau setelah aplikasi digunakan selama berbulan-bulan.
Hal yang perlu diperhatikan adalah bahwa production environment akan terus berkembang selama aplikasi digunakan. Data dan knowledge diperbarui, user behaviour berubah, workload bertambah, infrastructure menerima update, dan AI service juga terus berkembang.
Karena itu, AI lifecycle tidak berhenti ketika deployment selesai. Setelah go-live, organisasi perlu memiliki proses untuk terus memonitor, mengevaluasi, mengelola, dan mengoptimalkan aplikasi selama digunakan dalam aktivitas bisnis.
Managed AI Operations membantu membangun operational layer tersebut dengan menghubungkan AI, data, application, infrastructure, security, dan governance ke dalam proses yang lebih terstruktur.
ICS Compute membantu organisasi mengelola AI dan Generative AI application di production environment dengan menggabungkan kapabilitas pada AI, data, cloud, dan infrastructure sesuai dengan kebutuhan workload dan architecture yang digunakan.
Dengan pendekatan tersebut, organisasi dapat memiliki visibility yang lebih baik terhadap kondisi AI setelah deployment, sekaligus memahami apakah quality, reliability, security, dan cost masih sesuai dengan kebutuhan bisnis ketika production environment terus berubah.