Deduplikasi data adalah teknologi penyimpanan populer yang mengoptimalkan kapasitas penyimpanan. Teknologi ini menghilangkan data yang berlebihan dengan menghapus data duplikat dari dataset, sehingga hanya menyisakan satu salinan. Seperti yang ditunjukkan pada gambar di bawah ini. Teknologi ini dapat sangat mengurangi kebutuhan ruang penyimpanan fisik untuk memenuhi permintaan penyimpanan data yang terus meningkat. Teknologi deduplikasi dapat memberikan banyak manfaat praktis, terutama meliputi aspek-aspek berikut:
| (1) | Memenuhi persyaratan ROI (Return On Investment)/TCO (Total Cost of Ownership); |
| (2) | Pertumbuhan data yang pesat dapat dikendalikan secara efektif; |
| (3) | Meningkatkan ruang penyimpanan efektif dan meningkatkan efisiensi penyimpanan; |
| (4) | Hemat biaya penyimpanan dan biaya pengelolaan secara keseluruhan; |
| (5) | Menghemat bandwidth jaringan untuk transmisi data; |
| (6) | Menghemat biaya operasional dan pemeliharaan seperti ruang, pasokan daya, dan pendinginan. |
Teknologi deduplikasi banyak digunakan dalam sistem pencadangan dan pengarsipan data, karena terdapat banyak data duplikat setelah beberapa kali pencadangan data, yang sangat cocok untuk teknologi ini. Bahkan, teknologi deduplikasi dapat digunakan dalam banyak situasi, termasuk data online, data near-line, dan sistem penyimpanan data offline. Teknologi ini dapat diimplementasikan dalam sistem file, pengelola volume, NAS, dan SANS. Deduplikasi juga dapat digunakan untuk pemulihan bencana data, transmisi dan sinkronisasi data, sebagai teknologi kompresi data dapat digunakan untuk pengemasan data. Teknologi deduplikasi dapat membantu banyak aplikasi mengurangi penyimpanan data, menghemat bandwidth jaringan, meningkatkan efisiensi penyimpanan, mengurangi waktu pencadangan, dan menghemat biaya.
Deduplikasi memiliki dua dimensi utama: rasio deduplikasi dan kinerja. Kinerja deduplikasi bergantung pada teknologi implementasi spesifik, sedangkan tingkat deduplikasi ditentukan oleh karakteristik data itu sendiri dan pola aplikasi, seperti yang ditunjukkan pada tabel di bawah ini. Vendor penyimpanan saat ini melaporkan tingkat deduplikasi berkisar dari 20:1 hingga 500:1.
| Tingkat penghapusan duplikasi yang tinggi | Tingkat penghapusan duplikasi yang rendah |
| Data yang dibuat oleh pengguna | Data dari dunia alam |
| Tingkat perubahan data yang rendah | Tingkat perubahan data yang tinggi |
| Data referensi, data tidak aktif | Data aktif |
| Aplikasi dengan tingkat perubahan data rendah. | Aplikasi dengan tingkat perubahan data yang tinggi. |
| Pencadangan data lengkap | Pencadangan data inkremental |
| Penyimpanan data jangka panjang | Penyimpanan data jangka pendek |
| Beragam aplikasi data | Rentang aplikasi data yang terbatas |
| Pemrosesan bisnis data berkelanjutan | Pemrosesan data umum bisnis |
| Segmentasi data kecil | Segmentasi data besar |
| Segmentasi data memanjang | Segmentasi data dengan panjang tetap |
| Konten data yang dirasakan | Isi data tidak diketahui |
| Penghapusan duplikasi data waktu | Penghapusan duplikasi data spasial |
Poin Implementasi Deduplikasi
Berbagai faktor perlu dipertimbangkan saat mengembangkan atau menerapkan teknologi Dedupe, karena faktor-faktor ini secara langsung memengaruhi kinerja dan efektivitasnya.
| (1) | Apa | Data apa yang telah dikurangi bobotnya? |
| (2) | Kapan | Kapan beban tersebut akan dihilangkan? |
| (3) | Di mana | Di mana proses penurunan berat badannya? |
| (4) | Bagaimana | Bagaimana cara menurunkan berat badan? |
Teknologi Kunci Deduplikasi
Proses deduplikasi sistem penyimpanan secara umum adalah sebagai berikut: pertama-tama, berkas data dibagi menjadi beberapa blok data, untuk setiap blok data dihitung sidik jarinya, dan kemudian berdasarkan hash sidik jari dicari kata kuncinya. Pencocokan menunjukkan data untuk blok data duplikat, hanya menyimpan nomor indeks blok data, jika tidak, berarti blok data tersebut adalah satu-satunya bagian baru, penyimpanan blok data dan pembuatan meta informasi yang relevan. Dengan demikian, berkas fisik dalam sistem penyimpanan sesuai dengan representasi logis dari sekumpulan metadata sidik jari. Saat membaca berkas, pertama-tama baca berkas logis, kemudian sesuai dengan urutan sidik jari, ambil blok data yang sesuai dari sistem penyimpanan, dan kembalikan salinan berkas fisik. Dari proses di atas dapat dilihat bahwa teknologi kunci dari deduplikasi terutama meliputi segmentasi blok data berkas, perhitungan sidik jari blok data, dan pengambilan blok data.
(1) Segmentasi blok data berkas
(2) Perhitungan sidik jari blok data
(3) Pengambilan blok data
Untuk menemukan model-model yang direkomendasikan ini untuk memulai Deduplikasi Paket Jaringan Anda:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ ditambah 4*40GE/100GE QSFP28, Maksimal 880Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 ditambah 48*10GE/25GE SFP28, Maksimal 1,8Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ ditambah 2*40GE QSFP, Maksimal 560Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, Maksimal 480Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, Maksimal 480Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, Maksimal 240Gbps, Fungsi DPI
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ ditambah 4*40GE/100GE QSFP28, Maksimal 880Gbps
Waktu posting: 18 Oktober 2022
