djed_catalog.datasets| Domain / Sektor | Kode | Jumlah Dataset |
|---|---|---|
| Memuat distribusi domain... | ||
| Format / Tipe | Jumlah Aset | Total Ukuran |
|---|---|---|
| Memuat modalitas data... | ||
djed_catalog)
69 Tabel & Partisi Terdaftar
Semua data fisik berada di Object Storage S3. PostgreSQL hanya menyimpan metadata, provenance, audit, dan partisi tata kelola.
| Nama Tabel Katalog | Jumlah Baris | Status Partisi | Peruntukan Tata Kelola |
|---|---|---|---|
| Memuat data tabel... | |||
| Run ID | Tahap (Stage) | Dataset Target | Status | Waktu Dimulai |
|---|---|---|---|---|
| Belum ada riwayat pipeline run. | ||||
Katalog Dataset Master Nasional & AI Sandbox
Jelajahi dan konsumsi dataset terkurasi lintas sektor secara langsung tanpa perlu pusing dengan layer internal storage (Bronze/Silver/Gold). Balik kartu untuk melihat panduan integrasi Python SDK atau REST API.
Tahap 1: Pencarian Sumber & Ingest ke S3 Bronze
Pilih beragam konektor (Google Docs, YouTube Video & Transkrip, URL Instagram/Portal Web, Audio/Podcast, Hugging Face, atau Upload), tentukan target jumlah hasil unik dan batas halaman, lalu ingest berkas mentah ke Object Storage Bronze.
| Judul & Referensi Data | Kanal / Sumber | Format | Status Validasi | Pratinjau | Tautan |
|---|
Penjadwalan Otomatis & Antrean Ingesti S3 Bronze
Kelola crawler background berkala, atur kata kunci pencarian (query target), interval waktu, serta tinjau dan tentukan kandidat data pada antrean (on-queue) untuk Ingest Sekarang ke S3 Bronze atau Tetap Sesuai Antrean.
Sesuai SE Menkominfo No. 9/2023 & UU PDP No. 27/2022, data yang dirayap oleh daemon ini disediakan semata-mata untuk riset AI nasional, audit etika, dan keterbukaan informasi publik (Non-Komersial).
Berikut adalah berkas/data yang berhasil ditemukan oleh crawler terjadwal sesuai query target. Anda memiliki kendali penuh: tekan ⚡ Ingest Sekarang untuk langsung mengunduh dan menyimpannya ke S3 Bronze, atau ⏳ Tetap di Antrean untuk membiarkannya diproses otomatis saat jadwal tiba.
| No | Target Query / Topik | Judul Berkas / Entitas | Sumber & Format | Lisensi & Batasan | Waktu Ditemukan | Status | Aksi Pengambilan Keputusan |
|---|---|---|---|---|---|---|---|
| Memuat antrean crawler... | |||||||
Tahap 2: Pembersihan, PII Masking, Profiling & Parquet Silver
Mengekstraksi teks dari berbagai format mentah (PDF, Word, YouTube, Audio, Web, Tabular), menyamarkan data sensitif (NIK, Nomor HP, Email), menghitung skor kualitas, dan menyusun tabel Parquet terkompresi zstd di S3 Silver.
Tahap 3: Promosi Gold, Vektor Embeddings & Gate Publish
Menghasilkan representasi siap konsumsi untuk model AI (Embeddings semantik per sektor menggunakan all-MiniLM-L6-v2 384-dimensi, CPT text corpus, atau Data Mart DuckDB) dan membuka gerbang publikasi katalog.
Alur Proses Pipeline & Arsitektur Tata Kelola Data
Gambaran komprehensif kepatuhan Responsible AI (SE Menkominfo No. 9 Tahun 2023 & UU PDP No. 27 Tahun 2022), alur pembersihan data, serta struktur arsitektur basis data djed_catalog.
djed_catalog):
- 1. Provenance File: Token verifikasi kriptografis ZKP (
zkp:proof:sha256:...) & DCAT-AP 2.1 metadata. - 2. Bukti Anonimisasi: Rekap audit kuantitatif entitas NIK, telepon, dan email yang disamarkan.
- 3. Dokumentasi Data: Metadata dataset, taksonomi sektor/domain, dan kamus data skema lengkap.
- 4. Nama AI Agent: Identitas crawler otonom
DJED-ResponsibleAI-Crawler-v2.0. - 5. Lisensi Resmi: Hak cipta standar (
CC-BY 4.0,Apache-2.0,CC0 1.0, dll.) dan klausul fair-use riset AI.
| Layer S3 | Format Fisik | Sifat Data | Aturan Akses |
|---|---|---|---|
| s3://bronze/ | Raw binary / zstd compressed (>45MB auto chunked) | Data mentah asli dari sumber eksternal + manifest sha256 | Khusus Administrator / Pipeline Engine |
| s3://silver/ | Apache Parquet terkompresi zstd (13 Kolom) | Teks bersih, deduped, PII tersensor, terstruktur | Internal Sandbox & Data Scientist via SDK / DuckDB |
| s3://gold/ | Vector Parquet (all-MiniLM-L6-v2 384-dim) & CPT Corpus | Embeddings terpartisi per sektor domain, siap konsumsi AI | Aplikasi AI Sandbox, RAG Engine, B2B Berizin |
Zero-Knowledge Proof (ZKP) & Integrity Verification Lab
Mekanisme pembuktian matematis berbasis zk-SNARK Groth16 di atas Kurva Elips BN254. Memungkinkan data steward membuktikan bahwa dataset bersih dari kebocoran PII (NIK/Telepon) dan diturunkan secara sah dari sumber Bronze tanpa membeberkan isi data sensitif mentahnya kepada pihak ketiga, auditor, maupun model AI.
Bagan alur di bawah menghubungkan seluruh tahap transformasi Medallion dengan sirkuit zk-SNARK Groth16 / BN254. Klik salah satu gerbang di diagram alur untuk membedah (*zoom-in*) saksi rahasia (*Private Witness*), sinyal publik, kendala sirkuit, dan jaminan regulasi secara langsung di panel inspeksi bawah.
unmasked_pii_count × 1 = 0 (Wajib Nol)
Ukuran: 128 Bytes • Sinyal: pii_clean=true
djed_catalog.audit_events. Jika data fisik diubah 1 bit saja, verifikasi akan gagal seketika.
Pelajari bagaimana setiap mekanisme Zero-Knowledge Proof bekerja pada tingkat bit dan persamaan aljabar di atas data riil Statistik Penetrasi Internet Komdigi 2026. Pilih pilar di bawah untuk melihat sampel baris data asli, kendala circuit, pohon Merkle, dan rumus turunan titik kurva BN254.
| ID Rekaman | Wilayah (Kab/Kota) | NIK (Data Asli Mentah) | No. Telepon / WhatsApp | Kecepatan (Mbps) | Transformasi Silver (Tersensor) | Status Privasi |
|---|---|---|---|---|---|---|
rec_001 |
Kab. Bogor, Jawa Barat | 3201234567890001 | 081298765432 | 34.8 | 3201************ | 100% UU PDP Compliant |
rec_002 |
Kota Surabaya, Jawa Timur | 3578012345670002 | 081387654321 | 88.5 | 3578************ | 100% UU PDP Compliant |
rec_003 |
Kab. Jayawijaya, Papua Pegunungan | 9501098765430003 | 085212345678 | 12.4 | 9501************ | 100% UU PDP Compliant |
Data steward menyimpan saksi privat di memori terisolasi (RAM/SGX enclave) untuk dievaluasi oleh prover circuit. Saksi ini dihapus seketika setelah bukti $[A, B, C]$ terbentuk:
Sinyal publik adalah parameter terbuka yang dikirim ke verifier (auditor, smart contract, atau REST API). Verifier dapat memastikan kepatuhan tanpa pernah melihat saksi privat:
Dalam Zero-Knowledge Proof, aturan "Tidak boleh ada NIK/Telepon yang tidak tersensor" tidak dievaluasi dengan kode if/else, melainkan dikonversi ke kendala perkalian aljabar modulo $p$: $\langle A_k, w \rangle \cdot \langle B_k, w \rangle = \langle C_k, w \rangle$.
Memastikan variabel kebocoran PII ($x_{leak}$) hanya boleh bernilai biner 0 (bersih) atau 1 (bocor):
- Jika $x_{leak} = 0$: $0 \times (1 - 0) = 0$ (SAH • 0 = 0)
- Jika $x_{leak} = 1$: $1 \times (1 - 1) = 0$ (SAH secara boolean)
- Jika penyerang menyuntikkan pecahan atau nilai lain: perkalian tidak menghasilkan 0 → Circuit Rejects.
Menegakkan regulasi bahwa dataset yang boleh dipublikasikan ke S3 Silver/Gold wajib memiliki $x_{leak} == 0$:
- Jika ada 1 saja NIK bocor ($x_{leak} = 1$): $1 \times 1 = 1 \neq 0$ → KENDALA GAGAL TOTAL!
- Prover secara matematis mustahil dapat menghasilkan bukti sah Groth16 jika ada PII yang belum disensor.
Sebanyak 1.048.576 kendala R1CS diinterpolasi menggunakan Transformasi Fourier Cepat (FFT) menjadi tiga polinomial univariat $A(x), B(x), C(x)$. Polinomial target ditentukan sebagai $T(x) = \prod_{k=1}^m (x - \omega^k)$.
Prover membuktikan bahwa $A(x)B(x) - C(x)$ habis dibagi tanpa sisa oleh $T(x)$ dengan mengevaluasi polinomial hasil bagi $H(x)$ pada titik acak tersembunyi $\tau$.
Untuk membuktikan bahwa data di S3 Silver diturunkan secara sah dari sumber Bronze tanpa memodifikasi catatan, setiap partisi data di-hash bersama Witness Salt ke dalam struktur Merkle Tree biner:
0x5e6f7a8b9c0d1e2f3a4b5c6d7e8f9a0b...
0x2b3c4d5e6f7a8b9c0d1e2f3a4b5c6d7e...
Chunk 0 (misal mengubah kecepatan internet dari 34.8 menjadi 34.9), hash Leaf 0 berubah total. Perubahan merambat ke Node_01 dan menghasilkan Merkle Root yang sama sekali berbeda. Verifier langsung menolak bukti dalam <1.5 milidetik!
Protokol Groth16 (2016) adalah sistem pembuktian zk-SNARK paling ringkas di dunia. Pada kurva BN254 (alt_bn128), bukti hanya terdiri dari 3 titik kurva elips dengan total ukuran 128 bytes (terkompresi) atau 256 bytes (uncompressed):
Prover menjumlahkan titik basis Proving Key dikalikan koefisien vektor saksi wᵢ, lalu menambahkan faktor pengacak rahasia r[δ]₁ (zero-knowledge blinding).
Titik B dihitung pada twist kurva di lapangan ekstensi kuadrat 𝔽_p² = 𝔽_p[i] / (i² + 1), sehingga memiliki sepasang koordinat (x₀, x₁) dan (y₀, y₁) dengan blinding s.
Titik penyeimbang pembuktian yang menjamin keabsahan polinomial pembagian H(x) dan membatalkan faktor blinding r, s saat diuji oleh verifier.
Verifier (evaluator sandbox Komdigi) hanya menghitung 4 operasi pairing kurva elips tanpa perlu akses ke data mentah atau witness salt. Selesai dalam 1.4 milidetik dengan 100% kepastian matematika.
Uji langsung mekanisme Zero-Knowledge Proof. Pilih dataset, amati pemisahan tegas antara Private Witness (rahasia data steward) dan Public Signals (sinyal terbuka), hasilkan bukti Groth16, lalu jalankan verifikasi pairing atau simulasi serangan pemalsuan data.
Verifier menjalankan operasi elliptic curve bilinear pairing e(A, B).
Operasi ini tidak memerlukan akses ke data mentah (100% privasi terlindungi). Anda juga dapat mencoba tombol simulasi manipulasi data untuk membuktikan ketahanan matematis ZKP.
djed_catalog.audit_events.
Visualisasi relasi antar tabel (Entity Relationship Diagram) di schema djed_catalog. Seluruh data fisik mentah, Parquet bersih, dan indeks vektor disimpan di Object Storage S3, sedangkan PostgreSQL menyimpan metadata, partisi tata kelola, dan ledger kriptografis ZKP.
Cluster 1 Organisasi K/L/D & Taksonomi Data
6 Tabel RelasionalCluster 2 Katalog Inti & Kamus Data (Data Dictionary)
8 Tabel RelasionalCluster 3 Lakehouse S3 Object Storage & Fisik Parquet
9 Tabel FisikCluster 4 Data Quality Gates & Assertion Results
3 Tabel RelasionalCluster 5 Tata Kelola, RBAC, Kuota, & ZKP Ledger
10 Tabel TerproteksiKunci API & Manajemen Akses B2B
Kelola penerbitan API Key berbasis waktu untuk akses Sandbox terproteksi, review permohonan akses data eksternal, dan pantau log audit.
| Prefix & Hint | Label / Pengguna | Institusi | Scopes | Masa Berlaku | Status | Tindakan |
|---|---|---|---|---|---|---|
| Memuat daftar kunci API... | ||||||
| Pemohon | Institusi | Tujuan Riset | Dataset Diminta | Durasi | Status | Tindakan |
|---|---|---|---|---|---|---|
| Memuat permohonan akses... | ||||||