Siapa Boleh Mengakses Data Perusahaan? Mengenal Databricks Unity Catalog

Sebuah perusahaan retail memiliki puluhan cabang yang tersebar di beberapa kota. Seluruh data transaksi dikumpulkan ke dalam satu data platform untuk kebutuhan reporting dan analytics.

Tim regional menggunakan data tersebut untuk membandingkan performa penjualan antarwilayah. Di sisi lain, seorang branch manager membutuhkan informasi transaksi yang lebih detail untuk memantau operasional cabangnya sendiri.

Keduanya memerlukan data dari lingkungan yang sama, tetapi tingkat akses yang dibutuhkan berbeda. Regional analyst mungkin cukup melihat revenue, jumlah transaksi, dan tren penjualan setiap cabang. Branch manager membutuhkan detail transaksi di cabangnya, tanpa harus mendapatkan akses terhadap catatan transaksi dari seluruh wilayah.

Persoalan ini menjadi semakin kompleks ketika perusahaan memiliki banyak dataset, pengguna, serta aplikasi yang mengonsumsi data. Tim Data dan Security perlu memastikan bahwa informasi dapat digunakan sesuai kebutuhan bisnis, dengan pembatasan yang tetap berlaku ketika data diakses melalui dashboard, query, maupun workload lainnya.

Salah satu teknologi yang dapat membantu perusahaan mengelola kebutuhan tersebut adalah Databricks Unity Catalog.

Ketika Data Semakin Terhubung, Pengaturan Akses Menjadi Lebih Kompleks

Perusahaan biasanya tidak memiliki satu jenis pengguna data.

Tim Finance membutuhkan informasi keuangan, Sales membutuhkan data pelanggan dan pipeline, Operations memerlukan detail transaksi, sedangkan manajemen menggunakan informasi yang telah dikonsolidasikan untuk mengevaluasi performa bisnis.

Masing-masing fungsi memiliki kebutuhan berbeda terhadap sumber informasi yang digunakan.

Dalam lingkungan data yang relatif kecil, pengaturan izin mungkin masih dapat dikelola melalui sejumlah tabel dan user account. Namun, ketika jumlah data asset bertambah dan semakin banyak tim menggunakan data platform yang sama, pengelolaan akses secara individual mulai menimbulkan tantangan.

Misalnya, sebuah dataset transaksi memiliki informasi berikut:

Regional analyst memerlukan informasi transaksi untuk menghitung performa penjualan antarwilayah. Akan tetapi, pekerjaan tersebut tidak membutuhkan nama atau email pelanggan.

Jika semua pengguna diberikan akses langsung ke seluruh isi tabel, informasi pribadi yang sebenarnya tidak diperlukan dapat ikut terekspos.

Sebaliknya, pembatasan yang terlalu luas juga bisa menghambat tim operasional mengakses informasi yang mereka perlukan.

Karena itu, perusahaan perlu merancang kebijakan yang mempertimbangkan identitas pengguna, tujuan penggunaan data, sensitivitas informasi, dan cakupan akses yang diperlukan.

Kebijakan tersebut kemudian perlu diterjemahkan menjadi kontrol teknis yang dapat diterapkan secara konsisten.

Apa Itu Databricks Unity Catalog?

Databricks Unity Catalog adalah unified governance layer untuk data dan AI assets dalam ekosistem Databricks.

Unity Catalog menyediakan mekanisme untuk mengelola data asset, mengatur hak akses, menemukan informasi yang tersedia, menelusuri hubungan antar-dataset, serta mendukung audit terhadap aktivitas di lingkungan Databricks.

Salah satu fondasinya adalah struktur pengelolaan objek data.

Dalam Unity Catalog, data dapat diorganisasikan melalui hierarki berikut:

Catalog → Schema → Table / View

Catalog digunakan sebagai lapisan pengelompokan tingkat atas. Di dalamnya terdapat schema yang berisi objek seperti tables, views, volumes, dan functions.

Struktur ini membantu organisasi mengatur data berdasarkan domain bisnis, environment, atau kebutuhan pengelolaan lainnya.

Sebagai ilustrasi, perusahaan dapat memiliki catalog untuk data produksi dengan schema yang memisahkan informasi transaksi, inventory, dan customer analytics.

Melalui Unity Catalog, administrator dapat mengatur siapa yang memiliki izin terhadap masing-masing objek tersebut.

Pengelolaan akses juga dapat dilakukan pada tingkat yang lebih detail melalui mekanisme seperti row filtering dan column masking.

Dengan demikian, tim tidak harus selalu membuat salinan dataset berbeda untuk memenuhi setiap kebutuhan akses. Meski begitu, penggunaan governed views atau dataset agregat tetap relevan, terutama ketika pengguna hanya membutuhkan hasil analisis tanpa akses ke data transaksi mentah.

Bagaimana Unity Catalog Mengatur Hak Akses untuk Pengguna yang Berbeda?

Kembali ke contoh perusahaan retail dengan beberapa cabang.

Bayangkan terdapat dua pengguna yang membutuhkan informasi dari data transaksi perusahaan.

Regional Analyst bertanggung jawab membandingkan performa penjualan seluruh cabang. Informasi yang diperlukan meliputi total revenue, jumlah transaksi, dan tren penjualan per wilayah.

Branch Manager Jakarta bertanggung jawab terhadap operasional satu cabang. Ia membutuhkan daftar transaksi dan informasi operasional yang berkaitan dengan cabang tersebut.

Secara konseptual, kebutuhan akses mereka dapat disusun seperti berikut:

Data Access Comparison

Satu Dataset, Kebutuhan Akses Berbeda

Contoh kebutuhan akses antara regional analyst dan branch manager dalam perusahaan retail.

Data Regional Analyst Branch Manager Jakarta
Total sales seluruh cabang Diizinkan Sesuai kebutuhan
Detail transaksi Jakarta Tidak diperlukan Diizinkan
Detail transaksi cabang lain Tidak diperlukan Dibatasi
Customer email Tidak ditampilkan Sesuai izin dan kebutuhan
Regional performance dashboard Diizinkan Sesuai kebutuhan
Geser tabel ke samping untuk melihat kolom lainnya.

‍

Matriks tersebut merupakan contoh kebijakan bisnis, bukan konfigurasi otomatis dari Databricks.

Untuk menerapkannya, organisasi dapat menggunakan beberapa mekanisme yang tersedia dalam Unity Catalog.

1. Privileges: Menentukan Objek Data yang Boleh Diakses

Unity Catalog menggunakan sistem privileges untuk mengatur tindakan yang boleh dilakukan pengguna atau grup terhadap data asset.

Sebagai contoh, izin SELECT dapat diberikan untuk membaca data dari tabel atau view tertentu. Pengguna juga membutuhkan izin penggunaan yang relevan pada parent catalog dan schema.

Pengaturan privileges membantu administrator menentukan siapa yang dapat membaca atau mengubah objek data, serta siapa yang boleh mengelolanya.

Hal penting yang perlu diperhatikan adalah mekanisme privilege inheritance. Izin yang diberikan pada tingkat catalog atau schema dapat berlaku terhadap objek di bawahnya.

Oleh karena itu, keputusan memberikan akses pada tingkat yang lebih tinggi perlu mempertimbangkan seluruh data asset yang tercakup di dalamnya.

2. Row-Level Filtering: Membatasi Record yang Terlihat

Dalam contoh perusahaan retail, branch manager Jakarta hanya perlu melihat transaksi yang berasal dari cabang Jakarta.

Unity Catalog mendukung penerapan row filters untuk membatasi baris yang dikembalikan ketika pengguna menjalankan query.

Misalnya, tabel transaksi berisi data Jakarta, Bandung, dan Surabaya.

Ketika pengguna yang termasuk dalam kelompok branch manager Jakarta menjalankan query, kebijakan yang dikonfigurasi dapat membatasi hasilnya pada transaksi cabang Jakarta.

Pengguna dengan cakupan akses berbeda dapat memperoleh hasil berbeda dari objek data yang sama, berdasarkan kebijakan yang berlaku.

Pendekatan ini berguna ketika pemisahan akses ditentukan oleh atribut pada data, seperti branch, region, department, atau business unit.

3. Column Masking: Membatasi Informasi Sensitif

Pembatasan akses tidak selalu cukup dilakukan pada tingkat tabel atau baris.

Sebuah tim mungkin memiliki kebutuhan yang sah untuk menganalisis transaksi, tetapi tidak perlu mengetahui identitas pelanggan di dalamnya.

Melalui column masking, perusahaan dapat menentukan apakah nilai pada kolom tertentu perlu ditampilkan secara utuh atau disamarkan berdasarkan kebijakan yang diterapkan.

Contohnya, seorang analyst dapat menggunakan nilai transaksi, tanggal pembelian, dan kategori produk, sementara informasi customer email ditampilkan dalam bentuk yang telah dimasking.

Dengan konfigurasi yang sesuai, akses terhadap data sensitif dapat dibedakan dari akses terhadap atribut yang diperlukan untuk analisis.

Penerapan row filtering dan column masking memerlukan aturan yang didefinisikan dan diuji oleh tim yang bertanggung jawab. Fitur tersebut tidak secara otomatis memahami struktur organisasi ataupun kepentingan bisnis setiap pengguna.

Mengelola Access Policy dalam Skala Besar dengan Attribute-Based Access Control

Ketika perusahaan hanya memiliki beberapa dataset, pengaturan row filters atau column masks pada masing-masing tabel mungkin masih dapat dikelola.

Namun, pendekatan tersebut menjadi lebih rumit ketika ratusan tabel mengandung informasi sensitif yang memerlukan perlindungan serupa.

Databricks Unity Catalog menyediakan Attribute-Based Access Control (ABAC) untuk menerapkan kebijakan berdasarkan atribut yang melekat pada data asset, seperti governed tags.

Misalnya, perusahaan mengelompokkan kolom tertentu menggunakan klasifikasi confidential atau restricted.

Kebijakan masking dapat dirancang untuk berlaku pada kolom yang memenuhi klasifikasi tersebut, dalam cakupan catalog atau schema yang ditentukan.

Dengan pengelolaan yang tepat, tim governance tidak harus mengonfigurasi aturan identik secara manual pada setiap tabel.

Meskipun demikian, klasifikasi data menjadi sangat penting. Jika sebuah kolom sensitif tidak diberi tag yang sesuai, kebijakan berbasis tag mungkin tidak berlaku terhadap kolom tersebut.

Karena itu, pengelolaan ABAC perlu disertai standar klasifikasi data, pembatasan terhadap pihak yang boleh mengubah tags, dan evaluasi kebijakan secara berkala.

Pilihan antara ABAC, table-level filters, column masks, serta governed views sebaiknya didasarkan pada kebutuhan organisasi, cakupan data, dan kompleksitas pengelolaannya.

Data Lineage: Mengetahui dari Mana Data Berasal dan Digunakan ke Mana

Pengaturan hak akses menjawab satu pertanyaan penting: siapa yang boleh menggunakan informasi tertentu?

Tetapi dalam operasional data platform, tim juga perlu memahami hubungan antara dataset yang digunakan.

Misalnya, regional performance dashboard menunjukkan total revenue yang berbeda dari laporan Finance.

Sebelum memeriksa rumus pada dashboard, tim Data Engineering mungkin perlu mengetahui dataset mana yang menjadi sumbernya, proses transformasi apa yang dijalankan, dan apakah terdapat upstream table yang mengalami perubahan.

Data lineage membantu menelusuri hubungan tersebut.

Dalam Databricks, Unity Catalog dapat menangkap lineage untuk aktivitas yang didukung, termasuk hubungan antara tabel dan kolom serta penggunaan data oleh jobs, notebooks, atau dashboards tertentu.

Sebagai contoh, sebuah alur dapat terlihat seperti ini:

Transaction Table → Sales Transformation → Regional Reporting Dataset → Management Dashboard

Ketika terjadi perubahan pada transaction table, informasi lineage membantu tim mengidentifikasi downstream assets yang mungkin terdampak.

Kemampuan ini juga berguna untuk pekerjaan lain, seperti:

Namun, cakupan lineage tetap mengikuti jenis aktivitas, konfigurasi, dan fitur yang didukung. Perusahaan tidak dapat mengasumsikan seluruh aliran data di luar Databricks otomatis tercatat tanpa integrasi atau pengelolaan metadata yang diperlukan.

Audit Logs: Memeriksa Aktivitas di Lingkungan Data Platform

Selain memahami aliran data, perusahaan juga perlu mempunyai kemampuan untuk meninjau aktivitas yang terjadi dalam lingkungannya.

Bayangkan tim Security sedang menyelidiki perubahan permission pada sebuah data asset. Mereka perlu mengetahui aktivitas administrasi yang tercatat, kapan perubahan dilakukan, dan identitas yang berkaitan dengan aktivitas tersebut.

Databricks menyediakan audit logs untuk mendukung pemeriksaan aktivitas akun dan workspace, termasuk sejumlah aktivitas yang terkait dengan Unity Catalog.

Informasi tersebut dapat digunakan dalam proses investigasi, evaluasi pengelolaan permission, dan pemeriksaan internal.

Auditability memiliki fungsi berbeda dari data lineage.

Data lineage membantu menjelaskan hubungan dan pergerakan informasi antar-data asset yang tercatat.

Audit logs menyediakan catatan aktivitas atau peristiwa yang didukung oleh sistem.

Keduanya saling melengkapi ketika perusahaan perlu memahami apa yang terjadi pada data platform.

Tetapi audit logs bukan jaminan bahwa seluruh persyaratan compliance telah terpenuhi. Tim Security tetap perlu menentukan aktivitas yang harus dimonitor, mekanisme akses terhadap log, retensi, serta proses peninjauan yang sesuai.

Apakah Menggunakan Unity Catalog Berarti Data Perusahaan Sudah Aman?

Unity Catalog menyediakan kemampuan teknis yang penting untuk data governance. Namun, efektivitasnya tetap bergantung pada bagaimana organisasi mengimplementasikan kebijakan tersebut.

Sebagai contoh, sebuah perusahaan dapat memiliki row-level filtering, tetapi jika aturan pembagian akses tidak sesuai dengan struktur operasional, pengguna tetap berpotensi memperoleh informasi di luar kebutuhannya.

Persoalan serupa dapat terjadi pada column masking ketika klasifikasi informasi sensitif belum dilakukan secara menyeluruh.

Ada pula kebutuhan yang tidak dapat diselesaikan hanya melalui pengaturan privileges.

Perusahaan yang menjalankan operasional lintas negara, misalnya, mungkin perlu memperhatikan persyaratan mengenai penyimpanan, pemrosesan, dan transfer data berdasarkan regulasi yang berlaku.

Membatasi siapa yang dapat membaca data tidak otomatis menyelesaikan ketentuan mengenai lokasi penyimpanan atau pemrosesan informasi tersebut.

Karena itu, data governance sebaiknya dipahami sebagai bagian dari keputusan arsitektur dan operasional perusahaan.

Sebelum implementasi, beberapa pertanyaan perlu dijawab:

Siapa pemilik data? Tim bisnis atau fungsi mana yang memiliki kewenangan untuk menentukan penggunaan dataset?

Informasi apa yang sensitif? Kolom atau record mana yang membutuhkan klasifikasi dan perlindungan tambahan?

Siapa membutuhkan akses? Apakah pengguna memerlukan raw data, data transaksi terbatas, atau cukup informasi agregat?

Bagaimana kebijakan diterapkan? Apakah privileges, row filters, column masks, atau governed views paling sesuai dengan kebutuhan?

Bagaimana kontrol diperiksa? Apakah perusahaan memiliki mekanisme pengujian permission, peninjauan perubahan, serta monitoring yang memadai?

Jawaban atas pertanyaan tersebut menjadi dasar untuk menentukan pengaturan Unity Catalog yang sesuai dengan kebutuhan organisasi.

Dari Access Matrix ke Implementasi Databricks Unity Catalog

Sebelum mulai membuat privileges dan policies, perusahaan dapat menyusun role-to-data access matrix.

Dokumen ini memetakan hubungan antara pengguna, data yang dibutuhkan, tujuan penggunaan, cakupan akses, dan pihak yang bertanggung jawab memberikan persetujuan.

Contohnya:

Data Governance Framework

Role-to-Data Access Matrix

Contoh pemetaan kebutuhan akses data berdasarkan peran pengguna, tujuan bisnis, cakupan informasi, dan kebutuhan akses terhadap data sensitif.

Role Business Purpose Data Scope Sensitive Data Access
Regional Analyst
Performance analysis Seluruh cabang, agregat Tidak diperlukan
Branch Manager
Branch operations Cabang yang ditugaskan Terbatas berdasarkan kebutuhan
Finance Analyst
Financial reconciliation Dataset keuangan yang disetujui Sesuai fungsi
Data Engineer
Pipeline maintenance Data asset sesuai tugas Dibatasi sesuai kebutuhan operasional
Note: Matriks ini bersifat ilustratif. Hak akses aktual perlu ditentukan bersama data owner serta tim Data dan Security sebelum dikonfigurasi melalui Databricks Unity Catalog.

‍

Matriks tersebut membantu Data, Security, dan Business Owner menyepakati kebutuhan sebelum izin teknis diberikan.

Setelah kebutuhan jelas, implementasi dapat dilanjutkan dengan pemetaan data asset di Databricks, penentuan ownership, pengelompokan identity dan access groups, serta konfigurasi privileges dan fine-grained access controls.

Tahap pengujian menjadi bagian yang tidak boleh dilewatkan.

Tim perlu memverifikasi hasil query menggunakan identitas atau grup pengguna yang berbeda untuk memastikan kebijakan bekerja sesuai rancangan. Pengujian juga harus memeriksa kemungkinan akses melalui view, dashboard, service principal, atau jalur lain yang digunakan workload perusahaan.

Selanjutnya, proses review perlu dilakukan secara berkala agar perubahan fungsi karyawan, struktur organisasi, maupun data asset baru tidak meninggalkan permission yang sudah tidak relevan.

Dengan cara ini, perusahaan memiliki pendekatan yang lebih terstruktur untuk mengelola akses dibandingkan memberikan izin berdasarkan permintaan individual tanpa dokumentasi yang konsisten.

Peran ICS Compute dalam Implementasi Data Governance dengan Databricks

Setiap perusahaan memiliki struktur data, sistem, dan kebutuhan pengamanan yang berbeda. Organisasi dengan banyak cabang memerlukan pengaturan akses berdasarkan wilayah, sementara perusahaan dengan beberapa business unit mungkin lebih membutuhkan pembatasan berdasarkan fungsi dan klasifikasi informasi.

Melalui layanan Data Platform & Engineering, ICS Compute membantu perusahaan merancang dan mengimplementasikan arsitektur data yang mempertimbangkan kebutuhan akses, integrasi, serta tata kelola informasi.

Dalam lingkungan Databricks, pekerjaan tersebut dapat mencakup assessment terhadap struktur data yang ada, pemetaan domain dan data ownership, identifikasi informasi sensitif, perancangan access matrix, hingga implementasi governance controls menggunakan Unity Catalog.

ICS Compute juga dapat membantu organisasi mengevaluasi bagaimana data lineage, metadata, dan auditing digunakan sebagai bagian dari proses pengelolaan data platform yang lebih luas.

Pendekatan implementasi perlu mempertimbangkan kebutuhan bisnis sekaligus karakter teknis dari environment perusahaan, termasuk existing data pipelines, user groups, dan aplikasi yang menggunakan data.

Dengan fondasi governance yang jelas, organisasi dapat memperluas penggunaan data untuk analytics dan AI tanpa mengabaikan kebutuhan pembatasan akses serta tanggung jawab atas informasi yang digunakan.

Data yang Sama, Akses yang Berbeda

Ketika semakin banyak tim menggunakan data perusahaan, keberhasilan data platform tidak cukup diukur dari seberapa mudah informasi dapat diakses.

Perusahaan juga perlu memahami apakah pengguna memperoleh data yang memang diperlukan, apakah informasi sensitif terlindungi sesuai kebijakan, dan apakah aktivitas serta aliran data dapat ditelusuri ketika dibutuhkan.

Databricks Unity Catalog menyediakan sejumlah kemampuan untuk membantu organisasi menerapkan kontrol tersebut dalam lingkungan Databricks.

Namun, keputusan mengenai siapa yang seharusnya memiliki akses tetap perlu dimulai dari pemahaman terhadap struktur organisasi, proses bisnis, dan karakter data yang dikelola.

Bagi perusahaan yang sedang mengembangkan data platform, menyusun role-to-data access matrix dapat menjadi langkah awal yang praktis untuk mengevaluasi kesiapan data governance sebelum memperluas akses kepada pengguna maupun aplikasi baru.

Ingin mengevaluasi data governance architecture perusahaan Anda?

Diskusikan kebutuhan data platform, access control, dan implementasi Databricks Unity Catalog bersama tim ICS Compute.

‍

Frequently Asked Questions

FAQ: Databricks Unity Catalog

Memahami bagaimana Unity Catalog membantu perusahaan mengelola akses, data lineage, dan governance dalam lingkungan Databricks.

Apa itu Databricks Unity Catalog?

Databricks Unity Catalog adalah governance layer yang membantu organisasi mengelola data dan AI assets dalam lingkungan Databricks. Kemampuannya mencakup access control, data discovery, lineage, serta dukungan auditing untuk aktivitas yang tercatat.

Apa perbedaan Unity Catalog dengan database biasa?

Database digunakan untuk menyimpan dan mengelola data, sedangkan Unity Catalog menyediakan lapisan governance bagi data dan aset lain yang berada dalam cakupan Databricks. Unity Catalog membantu menentukan permission, mengelola metadata, serta menelusuri penggunaan data tanpa harus menjadi lokasi penyimpanan fisik tunggal bagi seluruh informasi perusahaan.

Bagaimana Unity Catalog membatasi akses berdasarkan cabang?

Unity Catalog mendukung row filters yang dapat membatasi baris data berdasarkan kondisi tertentu, seperti kode cabang atau wilayah. Kebijakan perlu dirancang dan dikonfigurasi sesuai identitas pengguna, akses yang diberikan, serta aturan bisnis perusahaan.

Apa fungsi column masking di Databricks Unity Catalog?

Column masking digunakan untuk membatasi nilai yang terlihat pada kolom tertentu ketika data diakses. Sebagai contoh, alamat email pelanggan dapat disamarkan untuk pengguna yang membutuhkan analisis transaksi tetapi tidak memerlukan informasi kontak pelanggan.

Apa perbedaan data lineage dan audit logs?

Data lineage membantu menelusuri hubungan antara sumber, transformasi, dan penggunaan data pada aktivitas yang didukung. Audit logs mencatat peristiwa atau aktivitas tertentu di lingkungan Databricks. Keduanya dapat membantu perusahaan melakukan investigasi dan pengelolaan data, dengan tujuan pemeriksaan yang berbeda.

Apakah Unity Catalog otomatis membuat data perusahaan aman dan compliant?

Tidak. Unity Catalog menyediakan mekanisme governance yang perlu dikonfigurasi dan dikelola oleh organisasi. Keamanan dan kepatuhan juga bergantung pada identitas pengguna, klasifikasi informasi, kebijakan operasional, pengaturan infrastruktur, dan persyaratan regulasi yang berlaku.

Apa yang perlu dipersiapkan sebelum mengimplementasikan Unity Catalog?

Perusahaan perlu memahami struktur data asset, data ownership, kelompok pengguna, kebutuhan akses berdasarkan fungsi, serta klasifikasi data sensitif. Informasi tersebut dapat dirangkum dalam role-to-data access matrix sebagai dasar konfigurasi privileges dan kebijakan governance di Databricks.