Deduplikasi Data merupakan teknologi penyimpanan yang populer dan banyak diminati yang mengoptimalkan kapasitas penyimpanan. Teknologi ini menghilangkan data yang berlebihan dengan menghapus data duplikat dari kumpulan data, sehingga hanya menyisakan satu salinan. Seperti yang ditunjukkan pada gambar di bawah ini. Teknologi ini dapat mengurangi kebutuhan akan ruang penyimpanan fisik secara signifikan untuk memenuhi permintaan penyimpanan data yang terus meningkat. Teknologi deduplikasi dapat memberikan banyak manfaat praktis, terutama mencakup aspek-aspek berikut:
(1) | Memenuhi persyaratan ROI (Pengembalian Investasi)/TCO (Total Biaya Kepemilikan); |
(2) | Pertumbuhan data yang cepat dapat dikontrol secara efektif; |
(3) | Meningkatkan ruang penyimpanan yang efektif dan meningkatkan efisiensi penyimpanan; |
(4) | Menghemat total biaya penyimpanan dan biaya manajemen; |
(5) | Menghemat bandwidth jaringan transmisi data; |
(6) | Menghemat biaya pengoperasian dan pemeliharaan seperti ruang, catu daya, dan pendinginan. |
Teknologi dedupe banyak digunakan dalam sistem pencadangan dan pengarsipan data, karena terdapat banyak data duplikat setelah beberapa kali pencadangan data, yang sangat cocok untuk teknologi ini. Faktanya, teknologi dedupe dapat digunakan dalam banyak situasi, termasuk data daring, data near-line, dan sistem penyimpanan data luring. Teknologi ini dapat diimplementasikan dalam sistem berkas, pengelola volume, NAS, dan sans. Dedupe juga dapat digunakan untuk pemulihan bencana data, transmisi dan sinkronisasi data, sebagai teknologi kompresi data dapat digunakan untuk pengemasan data. Teknologi dedupe dapat membantu banyak aplikasi mengurangi penyimpanan data, menghemat bandwidth jaringan, meningkatkan efisiensi penyimpanan, mengurangi jendela pencadangan, dan menghemat biaya.
Dedupe memiliki dua dimensi utama: rasio dedulokasi dan kinerja. Kinerja dedupe bergantung pada teknologi implementasi spesifik, sedangkan rasio dedupe ditentukan oleh karakteristik data itu sendiri dan pola aplikasi, seperti yang ditunjukkan pada tabel di bawah. Vendor penyimpanan saat ini melaporkan rasio deduplikasi berkisar antara 20:1 hingga 500:1.
Tingkat deduplikasi tinggi | Tingkat deduplikasi rendah |
Data yang dibuat oleh pengguna | Data dari dunia alami |
Data tingkat perubahan rendah | Data tingkat perubahan tinggi |
Data referensi, data tidak aktif | Data aktif |
Aplikasi dengan tingkat perubahan data rendah | Aplikasi dengan tingkat perubahan data tinggi |
Pencadangan data penuh | Pencadangan data tambahan |
Penyimpanan data jangka panjang | Penyimpanan data jangka pendek |
Berbagai macam aplikasi data | Berbagai aplikasi data kecil |
Pemrosesan bisnis data berkelanjutan | Pemrosesan bisnis data umum |
Segmentasi data kecil | Segmentasi data besar |
Segmentasi data memanjang | Segmentasi data dengan panjang tetap |
Konten data yang dirasakan | Konten data tidak diketahui |
Deduplikasi data waktu | Deduplikasi data spasial |
Poin Implementasi Dedupe
Berbagai faktor harus dipertimbangkan saat mengembangkan atau menerapkan teknologi Dedupe, karena faktor-faktor ini secara langsung memengaruhi kinerja dan efektivitasnya.
(1) | Apa | Data apa yang dihilangkan bobotnya? |
(2) | Kapan | Kapan berat badan tersebut akan dihilangkan? |
(3) | Di mana | Di mana eliminasi berat badan? |
(4) | Bagaimana | Bagaimana cara mengurangi berat badan? |
Teknologi Kunci Dedupe
Proses deduplikasi pada sistem penyimpanan secara umum adalah sebagai berikut: pertama-tama berkas data dibagi menjadi sekumpulan data, untuk tiap blok data dilakukan kalkulasi sidik jari, kemudian berdasarkan kata kunci pencarian Hash sidik jari, pencocokan mengindikasikan data untuk blok data duplikat, hanya menyimpan nomor indeks blok data, jika tidak berarti blok data tersebut merupakan satu-satunya bagian dari yang baru, penyimpanan blok data dan pembuatan meta informasi yang relevan. Dengan demikian, berkas fisik dalam sistem penyimpanan sesuai dengan representasi logis dari sekumpulan metadata FP. Saat membaca berkas, pertama-tama baca berkas logis, kemudian menurut urutan FP, keluarkan blok data terkait dari sistem penyimpanan, pulihkan salinan berkas fisik. Dapat dilihat dari proses di atas bahwa teknologi utama Deduplikasi terutama mencakup segmentasi blok data berkas, kalkulasi sidik jari blok data, dan pengambilan blok data.
(1) Segmentasi blok data file
(2) Perhitungan sidik jari blok data
(3) Pengambilan blok data
Untuk menemukan model rekomendasi ini untuk memulai Deduplikasi Paket Jaringan Anda:
Broker Paket Jaringan Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ ditambah 4*40GE/100GE QSFP28, Maksimal 880Gbps
Broker Paket Jaringan Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 ditambah 48*10GE/25GE SFP28, Maksimal 1,8Tbps
Broker Paket Jaringan Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ ditambah 2*40GE QSFP, Maksimal 560Gbps
Broker Paket Jaringan Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, Maksimal 480Gbps, Fungsi Plus
Broker Paket Jaringan Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, Maksimal 480Gbps
Broker Paket Jaringan Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, Maks 240Gbps, Fungsi DPI
Broker Paket Jaringan Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ ditambah 4*40GE/100GE QSFP28, Maksimal 880Gbps
Waktu posting: 18-Okt-2022