Xóa các bản sao khỏi tập dữ liệu lớn (> 100Mio hàng)

Nếu bạn đang sử dụng SQL Server, bạn có thể sử dụng xóa khỏi biểu thức bảng chung:

with cte as (
    select row_number() over(partition by SICComb, NameComb order by Col1) as row_num
    from Table1
)
delete
from cte
where row_num > 1

Tại đây tất cả các hàng sẽ được đánh số, bạn sẽ nhận được trình tự riêng cho từng tổ hợp duy nhất của SICComb + NameComb . Bạn có thể chọn những hàng bạn muốn xóa bằng cách chọn order by bên trong over mệnh đề.