Cách lọc kết quả SQL trong một quan hệ có-nhiều-qua

Tôi tò mò. Và như chúng ta đều biết, sự tò mò có thể giết chết mèo.

Vậy cách lột da mèo nhanh nhất là cách nào?

Môi trường lột da mèo cho thử nghiệm này:

PostgreSQL 9.0 trên Debian Squeeze với RAM và cài đặt phù hợp.
6.000 sinh viên, 24.000 thành viên câu lạc bộ (dữ liệu được sao chép từ cơ sở dữ liệu tương tự với dữ liệu đời thực.)
Chuyển hướng nhẹ so với lược đồ đặt tên trong câu hỏi:student.id là student.stud_id và club.id là club.club_id tại đây.
Tôi đã đặt tên các truy vấn theo tên tác giả của chúng trong chuỗi này.
Tôi đã chạy tất cả các truy vấn một vài lần để điền vào bộ nhớ cache, sau đó tôi chọn 5 truy vấn tốt nhất với EXPLAIN ANALYZE .
Các chỉ số có liên quan (phải là chỉ số tối ưu - miễn là chúng tôi không biết trước câu lạc bộ nào sẽ được truy vấn):

ALTER TABLE student ADD CONSTRAINT student_pkey PRIMARY KEY(stud_id );
ALTER TABLE student_club ADD CONSTRAINT sc_pkey PRIMARY KEY(stud_id, club_id);
ALTER TABLE club       ADD CONSTRAINT club_pkey PRIMARY KEY(club_id );
CREATE INDEX sc_club_id_idx ON student_club (club_id);

club_pkey hầu hết các truy vấn ở đây không bắt buộc phải có.
Các khóa chính tự động triển khai các chỉ mục duy nhất Trong PostgreSQL.
Chỉ mục cuối cùng là để bù đắp cho thiếu sót đã biết này của chỉ mục nhiều cột trên PostgreSQL:

Chỉ mục cây B đa cột có thể được sử dụng với các điều kiện truy vấn để giải quyết bất kỳ tập con nào trong số các cột của chỉ mục, nhưng chỉ mục này kém hiệu quả nhất khi có các ràng buộc đối với các cột đầu (ngoài cùng bên trái).

Kết quả

Tổng thời gian chạy từ EXPLAIN ANALYZE .

1) Martin 2:44,594 mili giây

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id IN (30, 50)
GROUP  BY 1,2
HAVING COUNT(*) > 1;

2) Erwin 1:33.217 mili giây

SELECT s.stud_id, s.name
FROM   student s
JOIN   (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30, 50)
   GROUP  BY 1
   HAVING COUNT(*) > 1
   ) sc USING (stud_id);

3) Martin 1:31,735 mili giây

SELECT s.stud_id, s.name
FROM   student s
WHERE  student_id IN (
   SELECT student_id
   FROM   student_club
   WHERE  club_id = 30

   INTERSECT
   SELECT stud_id
   FROM   student_club
   WHERE  club_id = 50
   );

4) Derek:2,287 mili giây

SELECT s.stud_id,  s.name
FROM   student s
WHERE  s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 30)
AND    s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 50);

5) Erwin 2:2,181 mili giây

SELECT s.stud_id,  s.name
FROM   student s
WHERE  EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 30)
AND    EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 50);

6) Sean:2,043 mili giây

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club x ON s.stud_id = x.stud_id
JOIN   student_club y ON s.stud_id = y.stud_id
WHERE  x.club_id = 30
AND    y.club_id = 50;

Ba phần cuối cùng hoạt động khá giống nhau. 4) và 5) dẫn đến cùng một kế hoạch truy vấn.

Bổ sung muộn

SQL lạ mắt, nhưng hiệu suất không thể theo kịp:

7) ypercube 1:148,649 mili giây

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM   club AS c 
   WHERE  c.club_id IN (30, 50)
   AND    NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

8) ypercube 2:147,497 mili giây

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM  (
      SELECT 30 AS club_id  
      UNION  ALL
      SELECT 50
      ) AS c
   WHERE NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

Như dự đoán, hai người đó thực hiện gần như giống nhau. Kế hoạch truy vấn dẫn đến việc quét bảng, người lập kế hoạch không tìm ra cách sử dụng các chỉ mục ở đây.

9) bộ ký tự đại diện 1:49,849 mili giây

WITH RECURSIVE two AS (
   SELECT 1::int AS level
        , stud_id
   FROM   student_club sc1
   WHERE  sc1.club_id = 30
   UNION
   SELECT two.level + 1 AS level
        , sc2.stud_id
   FROM   student_club sc2
   JOIN   two USING (stud_id)
   WHERE  sc2.club_id = 50
   AND    two.level = 1
   )
SELECT s.stud_id, s.student
FROM   student s
JOIN   two USING (studid)
WHERE  two.level > 1;

SQL lạ mắt, hiệu suất tốt cho một CTE. Kế hoạch truy vấn rất kỳ lạ.

10) bộ ký tự đại diện 2:36,986 mili giây

WITH sc AS (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30,50)
   GROUP  BY stud_id
   HAVING COUNT(*) > 1
   )
SELECT s.*
FROM   student s
JOIN   sc USING (stud_id);

Biến thể CTE của truy vấn 2). Đáng ngạc nhiên là nó có thể dẫn đến một kế hoạch truy vấn hơi khác với cùng một dữ liệu. Tôi tìm thấy một bản quét tuần tự trên student , nơi biến thể truy vấn con đã sử dụng chỉ mục.

11) ypercube 3:101,482 mili giây

Một ypercube bổ sung muộn khác. Nó thực sự tuyệt vời, có bao nhiêu cách.

SELECT s.stud_id, s.student
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    NOT EXISTS (
   SELECT *
   FROM  (SELECT 14 AS club_id) AS c  -- can't be excluded for missing the 2nd
   WHERE  NOT EXISTS (
      SELECT *
      FROM   student_club AS d
      WHERE  d.stud_id = sc.stud_id
      AND    d.club_id = c.club_id
      )
   );

12) erwin 3:2,377 mili giây

ypercube's 11) thực ra chỉ là phương pháp tiếp cận ngược tâm trí của biến thể đơn giản hơn này, điều đó cũng vẫn còn thiếu. Hoạt động nhanh như những con mèo hàng đầu.

SELECT s.*
FROM   student s
JOIN   student_club x USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    EXISTS (                        -- ... and membership in 2nd exists
   SELECT *
   FROM   student_club AS y
   WHERE  y.stud_id = s.stud_id
   AND    y.club_id = 14
   );

13) erwin 4:2,375 mili giây

Khó tin, nhưng đây là một biến thể khác, thực sự mới. Tôi thấy tiềm năng cho nhiều hơn hai tư cách thành viên, nhưng nó cũng được xếp hạng trong số những con mèo hàng đầu với chỉ hai.

SELECT s.*
FROM   student AS s
WHERE  EXISTS (
   SELECT *
   FROM   student_club AS x
   JOIN   student_club AS y USING (stud_id)
   WHERE  x.stud_id = s.stud_id
   AND    x.club_id = 14
   AND    y.club_id = 10
   );

Số lượng thành viên câu lạc bộ năng động

Nói cách khác:số lượng bộ lọc khác nhau. Câu hỏi này yêu cầu chính xác hai thành viên câu lạc bộ. Nhưng nhiều trường hợp sử dụng phải chuẩn bị cho một số lượng khác nhau. Xem:

Sử dụng tương tự cột nhiều lần trong mệnh đề WHERE