Sebuah perusahaan retail memiliki puluhan cabang yang tersebar di beberapa kota. Seluruh data transaksi dikumpulkan ke dalam satu data platform untuk kebutuhan reporting dan analytics.
Tim regional menggunakan data tersebut untuk membandingkan performa penjualan antarwilayah. Di sisi lain, seorang branch manager membutuhkan informasi transaksi yang lebih detail untuk memantau operasional cabangnya sendiri.
Keduanya memerlukan data dari lingkungan yang sama, tetapi tingkat akses yang dibutuhkan berbeda. Regional analyst mungkin cukup melihat revenue, jumlah transaksi, dan tren penjualan setiap cabang. Branch manager membutuhkan detail transaksi di cabangnya, tanpa harus mendapatkan akses terhadap catatan transaksi dari seluruh wilayah.
Persoalan ini menjadi semakin kompleks ketika perusahaan memiliki banyak dataset, pengguna, serta aplikasi yang mengonsumsi data. Tim Data dan Security perlu memastikan bahwa informasi dapat digunakan sesuai kebutuhan bisnis, dengan pembatasan yang tetap berlaku ketika data diakses melalui dashboard, query, maupun workload lainnya.
Salah satu teknologi yang dapat membantu perusahaan mengelola kebutuhan tersebut adalah Databricks Unity Catalog.
Perusahaan biasanya tidak memiliki satu jenis pengguna data.
Tim Finance membutuhkan informasi keuangan, Sales membutuhkan data pelanggan dan pipeline, Operations memerlukan detail transaksi, sedangkan manajemen menggunakan informasi yang telah dikonsolidasikan untuk mengevaluasi performa bisnis.
Masing-masing fungsi memiliki kebutuhan berbeda terhadap sumber informasi yang digunakan.
Dalam lingkungan data yang relatif kecil, pengaturan izin mungkin masih dapat dikelola melalui sejumlah tabel dan user account. Namun, ketika jumlah data asset bertambah dan semakin banyak tim menggunakan data platform yang sama, pengelolaan akses secara individual mulai menimbulkan tantangan.
Misalnya, sebuah dataset transaksi memiliki informasi berikut:
Regional analyst memerlukan informasi transaksi untuk menghitung performa penjualan antarwilayah. Akan tetapi, pekerjaan tersebut tidak membutuhkan nama atau email pelanggan.
Jika semua pengguna diberikan akses langsung ke seluruh isi tabel, informasi pribadi yang sebenarnya tidak diperlukan dapat ikut terekspos.
Sebaliknya, pembatasan yang terlalu luas juga bisa menghambat tim operasional mengakses informasi yang mereka perlukan.
Karena itu, perusahaan perlu merancang kebijakan yang mempertimbangkan identitas pengguna, tujuan penggunaan data, sensitivitas informasi, dan cakupan akses yang diperlukan.
Kebijakan tersebut kemudian perlu diterjemahkan menjadi kontrol teknis yang dapat diterapkan secara konsisten.
Databricks Unity Catalog adalah unified governance layer untuk data dan AI assets dalam ekosistem Databricks.
Unity Catalog menyediakan mekanisme untuk mengelola data asset, mengatur hak akses, menemukan informasi yang tersedia, menelusuri hubungan antar-dataset, serta mendukung audit terhadap aktivitas di lingkungan Databricks.
Salah satu fondasinya adalah struktur pengelolaan objek data.
Dalam Unity Catalog, data dapat diorganisasikan melalui hierarki berikut:
Catalog → Schema → Table / View
Catalog digunakan sebagai lapisan pengelompokan tingkat atas. Di dalamnya terdapat schema yang berisi objek seperti tables, views, volumes, dan functions.
Struktur ini membantu organisasi mengatur data berdasarkan domain bisnis, environment, atau kebutuhan pengelolaan lainnya.
Sebagai ilustrasi, perusahaan dapat memiliki catalog untuk data produksi dengan schema yang memisahkan informasi transaksi, inventory, dan customer analytics.
Melalui Unity Catalog, administrator dapat mengatur siapa yang memiliki izin terhadap masing-masing objek tersebut.
Pengelolaan akses juga dapat dilakukan pada tingkat yang lebih detail melalui mekanisme seperti row filtering dan column masking.
Dengan demikian, tim tidak harus selalu membuat salinan dataset berbeda untuk memenuhi setiap kebutuhan akses. Meski begitu, penggunaan governed views atau dataset agregat tetap relevan, terutama ketika pengguna hanya membutuhkan hasil analisis tanpa akses ke data transaksi mentah.
Kembali ke contoh perusahaan retail dengan beberapa cabang.
Bayangkan terdapat dua pengguna yang membutuhkan informasi dari data transaksi perusahaan.
Regional Analyst bertanggung jawab membandingkan performa penjualan seluruh cabang. Informasi yang diperlukan meliputi total revenue, jumlah transaksi, dan tren penjualan per wilayah.
Branch Manager Jakarta bertanggung jawab terhadap operasional satu cabang. Ia membutuhkan daftar transaksi dan informasi operasional yang berkaitan dengan cabang tersebut.
Secara konseptual, kebutuhan akses mereka dapat disusun seperti berikut:
Matriks tersebut merupakan contoh kebijakan bisnis, bukan konfigurasi otomatis dari Databricks.
Untuk menerapkannya, organisasi dapat menggunakan beberapa mekanisme yang tersedia dalam Unity Catalog.
Unity Catalog menggunakan sistem privileges untuk mengatur tindakan yang boleh dilakukan pengguna atau grup terhadap data asset.
Sebagai contoh, izin SELECT dapat diberikan untuk membaca data dari tabel atau view tertentu. Pengguna juga membutuhkan izin penggunaan yang relevan pada parent catalog dan schema.
Pengaturan privileges membantu administrator menentukan siapa yang dapat membaca atau mengubah objek data, serta siapa yang boleh mengelolanya.
Hal penting yang perlu diperhatikan adalah mekanisme privilege inheritance. Izin yang diberikan pada tingkat catalog atau schema dapat berlaku terhadap objek di bawahnya.
Oleh karena itu, keputusan memberikan akses pada tingkat yang lebih tinggi perlu mempertimbangkan seluruh data asset yang tercakup di dalamnya.
Dalam contoh perusahaan retail, branch manager Jakarta hanya perlu melihat transaksi yang berasal dari cabang Jakarta.
Unity Catalog mendukung penerapan row filters untuk membatasi baris yang dikembalikan ketika pengguna menjalankan query.
Misalnya, tabel transaksi berisi data Jakarta, Bandung, dan Surabaya.
Ketika pengguna yang termasuk dalam kelompok branch manager Jakarta menjalankan query, kebijakan yang dikonfigurasi dapat membatasi hasilnya pada transaksi cabang Jakarta.
Pengguna dengan cakupan akses berbeda dapat memperoleh hasil berbeda dari objek data yang sama, berdasarkan kebijakan yang berlaku.
Pendekatan ini berguna ketika pemisahan akses ditentukan oleh atribut pada data, seperti branch, region, department, atau business unit.
Pembatasan akses tidak selalu cukup dilakukan pada tingkat tabel atau baris.
Sebuah tim mungkin memiliki kebutuhan yang sah untuk menganalisis transaksi, tetapi tidak perlu mengetahui identitas pelanggan di dalamnya.
Melalui column masking, perusahaan dapat menentukan apakah nilai pada kolom tertentu perlu ditampilkan secara utuh atau disamarkan berdasarkan kebijakan yang diterapkan.
Contohnya, seorang analyst dapat menggunakan nilai transaksi, tanggal pembelian, dan kategori produk, sementara informasi customer email ditampilkan dalam bentuk yang telah dimasking.
Dengan konfigurasi yang sesuai, akses terhadap data sensitif dapat dibedakan dari akses terhadap atribut yang diperlukan untuk analisis.
Penerapan row filtering dan column masking memerlukan aturan yang didefinisikan dan diuji oleh tim yang bertanggung jawab. Fitur tersebut tidak secara otomatis memahami struktur organisasi ataupun kepentingan bisnis setiap pengguna.
Ketika perusahaan hanya memiliki beberapa dataset, pengaturan row filters atau column masks pada masing-masing tabel mungkin masih dapat dikelola.
Namun, pendekatan tersebut menjadi lebih rumit ketika ratusan tabel mengandung informasi sensitif yang memerlukan perlindungan serupa.
Databricks Unity Catalog menyediakan Attribute-Based Access Control (ABAC) untuk menerapkan kebijakan berdasarkan atribut yang melekat pada data asset, seperti governed tags.
Misalnya, perusahaan mengelompokkan kolom tertentu menggunakan klasifikasi confidential atau restricted.
Kebijakan masking dapat dirancang untuk berlaku pada kolom yang memenuhi klasifikasi tersebut, dalam cakupan catalog atau schema yang ditentukan.
Dengan pengelolaan yang tepat, tim governance tidak harus mengonfigurasi aturan identik secara manual pada setiap tabel.
Meskipun demikian, klasifikasi data menjadi sangat penting. Jika sebuah kolom sensitif tidak diberi tag yang sesuai, kebijakan berbasis tag mungkin tidak berlaku terhadap kolom tersebut.
Karena itu, pengelolaan ABAC perlu disertai standar klasifikasi data, pembatasan terhadap pihak yang boleh mengubah tags, dan evaluasi kebijakan secara berkala.
Pilihan antara ABAC, table-level filters, column masks, serta governed views sebaiknya didasarkan pada kebutuhan organisasi, cakupan data, dan kompleksitas pengelolaannya.
Pengaturan hak akses menjawab satu pertanyaan penting: siapa yang boleh menggunakan informasi tertentu?
Tetapi dalam operasional data platform, tim juga perlu memahami hubungan antara dataset yang digunakan.
Misalnya, regional performance dashboard menunjukkan total revenue yang berbeda dari laporan Finance.
Sebelum memeriksa rumus pada dashboard, tim Data Engineering mungkin perlu mengetahui dataset mana yang menjadi sumbernya, proses transformasi apa yang dijalankan, dan apakah terdapat upstream table yang mengalami perubahan.
Data lineage membantu menelusuri hubungan tersebut.
Dalam Databricks, Unity Catalog dapat menangkap lineage untuk aktivitas yang didukung, termasuk hubungan antara tabel dan kolom serta penggunaan data oleh jobs, notebooks, atau dashboards tertentu.
Sebagai contoh, sebuah alur dapat terlihat seperti ini:
Transaction Table → Sales Transformation → Regional Reporting Dataset → Management Dashboard
Ketika terjadi perubahan pada transaction table, informasi lineage membantu tim mengidentifikasi downstream assets yang mungkin terdampak.
Kemampuan ini juga berguna untuk pekerjaan lain, seperti:
Namun, cakupan lineage tetap mengikuti jenis aktivitas, konfigurasi, dan fitur yang didukung. Perusahaan tidak dapat mengasumsikan seluruh aliran data di luar Databricks otomatis tercatat tanpa integrasi atau pengelolaan metadata yang diperlukan.
Selain memahami aliran data, perusahaan juga perlu mempunyai kemampuan untuk meninjau aktivitas yang terjadi dalam lingkungannya.
Bayangkan tim Security sedang menyelidiki perubahan permission pada sebuah data asset. Mereka perlu mengetahui aktivitas administrasi yang tercatat, kapan perubahan dilakukan, dan identitas yang berkaitan dengan aktivitas tersebut.
Databricks menyediakan audit logs untuk mendukung pemeriksaan aktivitas akun dan workspace, termasuk sejumlah aktivitas yang terkait dengan Unity Catalog.
Informasi tersebut dapat digunakan dalam proses investigasi, evaluasi pengelolaan permission, dan pemeriksaan internal.
Auditability memiliki fungsi berbeda dari data lineage.
Data lineage membantu menjelaskan hubungan dan pergerakan informasi antar-data asset yang tercatat.
Audit logs menyediakan catatan aktivitas atau peristiwa yang didukung oleh sistem.
Keduanya saling melengkapi ketika perusahaan perlu memahami apa yang terjadi pada data platform.
Tetapi audit logs bukan jaminan bahwa seluruh persyaratan compliance telah terpenuhi. Tim Security tetap perlu menentukan aktivitas yang harus dimonitor, mekanisme akses terhadap log, retensi, serta proses peninjauan yang sesuai.
Unity Catalog menyediakan kemampuan teknis yang penting untuk data governance. Namun, efektivitasnya tetap bergantung pada bagaimana organisasi mengimplementasikan kebijakan tersebut.
Sebagai contoh, sebuah perusahaan dapat memiliki row-level filtering, tetapi jika aturan pembagian akses tidak sesuai dengan struktur operasional, pengguna tetap berpotensi memperoleh informasi di luar kebutuhannya.
Persoalan serupa dapat terjadi pada column masking ketika klasifikasi informasi sensitif belum dilakukan secara menyeluruh.
Ada pula kebutuhan yang tidak dapat diselesaikan hanya melalui pengaturan privileges.
Perusahaan yang menjalankan operasional lintas negara, misalnya, mungkin perlu memperhatikan persyaratan mengenai penyimpanan, pemrosesan, dan transfer data berdasarkan regulasi yang berlaku.
Membatasi siapa yang dapat membaca data tidak otomatis menyelesaikan ketentuan mengenai lokasi penyimpanan atau pemrosesan informasi tersebut.
Karena itu, data governance sebaiknya dipahami sebagai bagian dari keputusan arsitektur dan operasional perusahaan.
Sebelum implementasi, beberapa pertanyaan perlu dijawab:
Siapa pemilik data? Tim bisnis atau fungsi mana yang memiliki kewenangan untuk menentukan penggunaan dataset?
Informasi apa yang sensitif? Kolom atau record mana yang membutuhkan klasifikasi dan perlindungan tambahan?
Siapa membutuhkan akses? Apakah pengguna memerlukan raw data, data transaksi terbatas, atau cukup informasi agregat?
Bagaimana kebijakan diterapkan? Apakah privileges, row filters, column masks, atau governed views paling sesuai dengan kebutuhan?
Bagaimana kontrol diperiksa? Apakah perusahaan memiliki mekanisme pengujian permission, peninjauan perubahan, serta monitoring yang memadai?
Jawaban atas pertanyaan tersebut menjadi dasar untuk menentukan pengaturan Unity Catalog yang sesuai dengan kebutuhan organisasi.
Sebelum mulai membuat privileges dan policies, perusahaan dapat menyusun role-to-data access matrix.
Dokumen ini memetakan hubungan antara pengguna, data yang dibutuhkan, tujuan penggunaan, cakupan akses, dan pihak yang bertanggung jawab memberikan persetujuan.
Contohnya:
Matriks tersebut membantu Data, Security, dan Business Owner menyepakati kebutuhan sebelum izin teknis diberikan.
Setelah kebutuhan jelas, implementasi dapat dilanjutkan dengan pemetaan data asset di Databricks, penentuan ownership, pengelompokan identity dan access groups, serta konfigurasi privileges dan fine-grained access controls.
Tahap pengujian menjadi bagian yang tidak boleh dilewatkan.
Tim perlu memverifikasi hasil query menggunakan identitas atau grup pengguna yang berbeda untuk memastikan kebijakan bekerja sesuai rancangan. Pengujian juga harus memeriksa kemungkinan akses melalui view, dashboard, service principal, atau jalur lain yang digunakan workload perusahaan.
Selanjutnya, proses review perlu dilakukan secara berkala agar perubahan fungsi karyawan, struktur organisasi, maupun data asset baru tidak meninggalkan permission yang sudah tidak relevan.
Dengan cara ini, perusahaan memiliki pendekatan yang lebih terstruktur untuk mengelola akses dibandingkan memberikan izin berdasarkan permintaan individual tanpa dokumentasi yang konsisten.
Setiap perusahaan memiliki struktur data, sistem, dan kebutuhan pengamanan yang berbeda. Organisasi dengan banyak cabang memerlukan pengaturan akses berdasarkan wilayah, sementara perusahaan dengan beberapa business unit mungkin lebih membutuhkan pembatasan berdasarkan fungsi dan klasifikasi informasi.
Melalui layanan Data Platform & Engineering, ICS Compute membantu perusahaan merancang dan mengimplementasikan arsitektur data yang mempertimbangkan kebutuhan akses, integrasi, serta tata kelola informasi.
Dalam lingkungan Databricks, pekerjaan tersebut dapat mencakup assessment terhadap struktur data yang ada, pemetaan domain dan data ownership, identifikasi informasi sensitif, perancangan access matrix, hingga implementasi governance controls menggunakan Unity Catalog.
ICS Compute juga dapat membantu organisasi mengevaluasi bagaimana data lineage, metadata, dan auditing digunakan sebagai bagian dari proses pengelolaan data platform yang lebih luas.
Pendekatan implementasi perlu mempertimbangkan kebutuhan bisnis sekaligus karakter teknis dari environment perusahaan, termasuk existing data pipelines, user groups, dan aplikasi yang menggunakan data.
Dengan fondasi governance yang jelas, organisasi dapat memperluas penggunaan data untuk analytics dan AI tanpa mengabaikan kebutuhan pembatasan akses serta tanggung jawab atas informasi yang digunakan.
Ketika semakin banyak tim menggunakan data perusahaan, keberhasilan data platform tidak cukup diukur dari seberapa mudah informasi dapat diakses.
Perusahaan juga perlu memahami apakah pengguna memperoleh data yang memang diperlukan, apakah informasi sensitif terlindungi sesuai kebijakan, dan apakah aktivitas serta aliran data dapat ditelusuri ketika dibutuhkan.
Databricks Unity Catalog menyediakan sejumlah kemampuan untuk membantu organisasi menerapkan kontrol tersebut dalam lingkungan Databricks.
Namun, keputusan mengenai siapa yang seharusnya memiliki akses tetap perlu dimulai dari pemahaman terhadap struktur organisasi, proses bisnis, dan karakter data yang dikelola.
Bagi perusahaan yang sedang mengembangkan data platform, menyusun role-to-data access matrix dapat menjadi langkah awal yang praktis untuk mengevaluasi kesiapan data governance sebelum memperluas akses kepada pengguna maupun aplikasi baru.
Ingin mengevaluasi data governance architecture perusahaan Anda?
Diskusikan kebutuhan data platform, access control, dan implementasi Databricks Unity Catalog bersama tim ICS Compute.