最近在處理大數(shù)據(jù)量（十萬(wàn)級(jí)）導(dǎo)入時(shí)，發(fā)現(xiàn)某些字段和數(shù)據(jù)庫(kù)表里的數(shù)據(jù)（千萬(wàn)級(jí)）重復(fù)，需要進(jìn)行去重處理。由于用程序方式查詢(xún)?nèi)ブ匦�率低下，因此考慮使用臨時(shí)表來(lái)優(yōu)化去重過(guò)程。

具體優(yōu)化步驟如下：

1. 首先將新數(shù)據(jù)插入臨時(shí)表，其結(jié)構(gòu)與原始表相同。
2. 通過(guò)SQL查詢(xún)不重復(fù)的數(shù)據(jù)DataA。
3. 將DataA插入到原始表中。

鑒于不重復(fù)數(shù)據(jù)還需要進(jìn)一步處理，若無(wú)需特殊處理，可直接使用 insert into select 語(yǔ)句將第2步的數(shù)據(jù)插入原始表，并清空臨時(shí)表。

第2步有兩種方式，一種是使用 not exists 查詢(xún)方法，另一種是利用 left join 方式。

測(cè)試結(jié)果表明，當(dāng)臨時(shí)表數(shù)據(jù)量較少時(shí)， not exists 方式耗時(shí)相對(duì)較短，但隨著數(shù)據(jù)量增加耗時(shí)逐漸增加。而 left join 方式在數(shù)據(jù)量較少時(shí)用時(shí)較長(zhǎng)，但隨著數(shù)據(jù)量增加變化不大。因此，總結(jié)出單表去重時(shí)，只要導(dǎo)入的數(shù)據(jù)量不是特別特別大（20w級(jí)以上），優(yōu)先使用 not exists 做去重。

然而，當(dāng)需要對(duì)兩個(gè)表進(jìn)行去重時(shí)，情況會(huì)有所不同。在這種情況下，測(cè)試結(jié)果顯示對(duì)于數(shù)據(jù)量較少的臨時(shí)表， not exists 方式用時(shí)相對(duì)較短，但隨著數(shù)據(jù)量增加耗時(shí)急劇增加。而 left join 方式對(duì)于數(shù)據(jù)量較少時(shí)用時(shí)較長(zhǎng)，但隨著數(shù)據(jù)量增加變化不大。因此，當(dāng)導(dǎo)入的數(shù)據(jù)在3w以下時(shí)，建議使用 not exists ；在3w以上時(shí)，建議使用 left join 。

• 異色邊緣龍局北辰卡組詳解
• 《怪化貓》系列第二章《火鼠》近日公開(kāi)諸多新情報(bào)
• steam特賣(mài)頁(yè)面出現(xiàn)神秘粉發(fā)女孩 引發(fā)網(wǎng)友熱烈討論
• 大雪節(jié)氣活動(dòng)：桃源深處有人家雪盛冬藏
• 游俠晚報(bào)：《絕地潛兵2》口碑上升 Fami通一周評(píng)分