Deduplikasi yang berbeza dengan menyusun atau hashing, tetapi mempengaruhi prestasi. 1. Prinsip Kerja: Pangkalan data memaksa nilai gabungan yang unik untuk kembali, dan sering mengiktiraf baris pendua melalui pengendalian atau operasi hashing, memakan memori, CPU dan juga sumber I/O. 2. Sumber Masalah Prestasi: Pengimbasan set data yang besar, penyortiran/hashing overhead, pengindeksan dan penyalahgunaan yang tidak digunakan. 3. Kaedah Pengoptimuman: Sahkan sama ada anda perlu deduplikasi, menggantikannya dengan kumpulan oleh, membuat indeks yang sesuai, dan menggabungkannya dengan penomboran had. 4. Berhati -hati apabila menggunakannya dengan bergabung: Ia mengambil masa untuk menyambung dan mengembangkan hasil yang ditetapkan sebelum deduplikasi, dan boleh digantikan dengan wujud atau subqueries.

Menggunakan kata kunci DISTINCT adalah perkara biasa dalam pertanyaan SQL, tetapi ramai orang hanya tahu bahawa ia boleh "deduplikasi", tetapi mereka tidak tahu apa yang berlaku di belakangnya. Malah, DISTINCT bukan sahaja menjejaskan struktur set keputusan, tetapi juga mempunyai kesan yang signifikan terhadap prestasi pertanyaan, terutamanya apabila jumlah data adalah besar.

1. Bagaimana kerja yang berbeza?

Apabila anda menggunakan DISTINCT pada satu atau lebih medan, pangkalan data memaksa nilai gabungan unik yang tidak diduplikasi. Contohnya:

 Pilih jabatan yang berbeza daripada pekerja;

Kenyataan ini mengembalikan semua nama jabatan yang berbeza. Untuk melakukan ini, pangkalan data biasanya melakukan operasi jenis atau hash untuk mengenal pasti dan mengeluarkan baris pendua.

Proses ini boleh mengambil banyak memori dan sumber CPU, terutamanya apabila jumlah data yang diproses adalah besar. Sesetengah pangkalan data disusun dalam ruang cakera sementara, yang juga membawa overhead I/O.

2. Di manakah masalah prestasi yang berbeza?

DISTINCT prestasi yang paling biasa muncul dalam aspek berikut:

• Imbasan dataset yang besar : Jika jadual asal sangat besar, walaupun set keputusan akhir kecil, anda perlu mengimbas seluruh jadual terlebih dahulu.
• Operasi Sorting/Hashing adalah mahal : Deduplication memerlukan langkah-langkah pengiraan tambahan, yang biasanya berintensifkan sumber.
• Indeks tidak digunakan : Jika tidak ada indeks yang sesuai untuk menyokong bidang deduplikasi, pangkalan data hanya dapat melakukan imbasan meja penuh.
• Penyalahgunaan membawa kepada overhead yang tidak perlu : Kadang -kadang data itu sendiri tidak diduplikasi, tetapi DISTINCT masih ditambah, yang merupakan operasi yang berlebihan.

Sebagai contoh, jika anda menulis:

 Pilih nama yang berbeza dari pengguna di mana status = 'aktif';

Malah, medan name itu sendiri adalah unik (contohnya, nama pengguna tidak membenarkan pertindihan), jadi menambah DISTINCT di sini adalah membuang masa.

3. Bagaimana untuk mengoptimumkan atau menggantikan yang berbeza?

Dalam perkembangan sebenar, cara berikut boleh dipertimbangkan untuk mengurangkan beban prestasi yang disebabkan oleh DISTINCT :

• ? Konfirmasi sama ada ia benar -benar perlu deduplikasi
  Periksa terlebih dahulu sama ada terdapat duplikasi dalam data, dan kemudian memutuskan sama ada untuk menggunakan DISTINCT . Dalam banyak kes, data secara semula jadi unik.

• ? Gunakan kumpulan sebaliknya
  Dalam sesetengah sistem pangkalan data, GROUP BY dan DISTINCT sebenarnya dilaksanakan pelan yang sama, tetapi lebih jelas secara semantik, terutamanya apabila anda masih memerlukan fungsi agregat.

   Pilih jabatan dari Kumpulan Pekerja mengikut jabatan;

• ? membuat indeks yang sesuai Sekiranya anda sering perlu deduplikasi medan, anda boleh mengindeksnya di medan supaya pangkalan data dapat dengan cepat mencari nilai yang berbeza.

• ?Paginasi atau hadkan kuantiti pulangan LIMIT untuk mengelakkan mengimbas semua data.

4. Berhati -hati apabila menggabungkan berbeza dan bergabung

Menggunakan pertanyaan DISTINCT yang melibatkan pelbagai jadual bergabung dengan mudah boleh menyebabkan masalah prestasi. Kerana sambungan itu sendiri akan memperluaskan set hasil, ia akan menjadi lebih sukar untuk menghilangkan beban berat.

Sebagai contoh, kaedah penulisan berikut:

 Pilih U.Name yang berbeza
Dari pengguna u
Sertai pesanan o di u.id = o.user_id
Di mana o.amount> 100;

Jika pengguna mempunyai banyak pesanan yang memenuhi kriteria, maka u.name akan muncul beberapa kali, begitu DISTINCT diperlukan. Tetapi pendekatan yang lebih baik mungkin menggunakan EXISTS atau subquery sebaliknya:

 Pilih U.Name
Dari pengguna u
Di mana wujud (
    Pilih 1
    Dari perintah o
    Di mana o.user_id = u.id dan o.amount> 100
);

Ini bukan sahaja menjadikan logik lebih jelas, tetapi juga mengelakkan pertindihan dan penyortiran yang tidak perlu.