Tải dữ liệu vào bảng được phân vùng lớn

Hãy đọc cái này:

http://www.evdbt.com/TGorman%20TD2005%20DWScale.doc

Những công việc này.

Bạn có gặp khó khăn trong việc truy cập khu vực tổ chức đối với truy vấn trực tuyến hoặc dữ liệu đến muộn (ví dụ:bạn có thể nhận được một hàng hôm nay cho bất kỳ ngày nào hơn hôm nay / hôm qua) không?

Tôi có mã quét qua tập dữ liệu của tôi các bản ghi mà tôi sẽ tải và đánh dấu các tiêu đề con của chỉ mục cục bộ nếu phân vùng con của bảng sẽ được sửa đổi. (Tôi đang sử dụng tài liệu này thay vì tài liệu tham khảo của Tim Gorman ở trên vì tôi có dữ liệu đến muộn và nhu cầu có khu vực tổ chức và kho hàng thích hợp có sẵn cho người dùng cuối cùng một lúc.)

Bảng của tôi là phạm vi / danh sách, không phải phạm vi / băm. vì vậy bạn sẽ phải sửa đổi nó một số, có thể bằng cách sử dụng hàm ORA_HASH để tìm (các) phân vùng con phù hợp. Tôi cũng viết ra một bảng mà các tiêu đề con mà tôi sẽ đánh dấu là không thể sử dụng được, vì vậy tôi có thể thực hiện tất cả điều đó trong một lần chuyển. Có thể hiệu quả hơn một chút nếu đánh dấu tất cả các chỉ mục của phân vùng con là không thể sử dụng được trong một câu lệnh ALTER TABLE duy nhất; Ban đầu tôi chỉ vô hiệu hóa các chỉ mục BITMAP, nhưng ngay cả khi chỉ có một chỉ mục cây B * ngoại tuyến trong quá trình tải dữ liệu đã cải thiện đáng kể hiệu quả.

  procedure DISABLE_LOCAL_INDEXES as
     l_part_name varchar2(30);
     l_subpart_name varchar2(30);
     l_sql varchar2(2000);
     type partition_rec_type is record
     (table_name         varchar2(30),
      partition_name     varchar2(30),
      subpartition_name  varchar2(30),
      list_value         varchar2(10),
      min_ts             timestamp,
      max_ts             timestamp);
     type partition_recs_type
                         is table of partition_rec_type;
     l_partition_recs    partition_recs_type := partition_recs_type();
     l_partition_rec     partition_rec_type;
     l_subpart_id        number := 1;
     l_start_ts          timestamp;
     l_end_ts            timestamp;
     l_found_list_part boolean;
   begin
     -- build set of subpartitions
     l_start_ts := to_timestamp ('1970-01-01', 'yyyy-mm-dd');
     for i in (select p.table_name, p.partition_name, sp.subpartition_name,
                      p.high_value as part_high_value, 
                      sp.high_value as subpart_high_value,
                      p.partition_position, sp.subpartition_position
                 from user_tab_subpartitions sp
                      inner join user_tab_partitions p
                         on p.table_name     = sp.table_name
                        and p.partition_name = sp.partition_name
                where p.table_name = 'MY_TARGET_TABLE'
                order by p.partition_position, sp.subpartition_position)
     loop
       if ( (i.partition_position <> 1) and (i.subpartition_position = 1) ) then
         l_start_ts    := l_end_ts + to_dsinterval('0 00:00:00.000000001');
       end if;
       if (i.subpartition_position = 1) then
         l_end_ts := high_val_to_ts (i.part_high_value);
         l_end_ts := l_end_ts - to_dsinterval('0 00:00:00.000000001');
       end if;
       l_partition_rec.table_name        := i.table_name;
       l_partition_rec.partition_name    := i.partition_name;
       l_partition_rec.subpartition_name := i.subpartition_name;
       l_partition_rec.list_value        := i.subpart_high_value;
       l_partition_rec.min_ts            := l_start_ts;
       l_partition_rec.max_ts            := l_end_ts;
       l_partition_recs.extend();
       l_partition_recs(l_subpart_id) := l_partition_rec;
       l_subpart_id := l_subpart_id + 1;
     end loop;
     -- for every combination of list column and date column
     -- which is going to be pushed to MY_TARGET_TABLE
     -- find the subpartition
     -- otherwise find the partition and default subpartition
     for i in (select distinct LIST_COLUMN, DATE_COLUMN as DATE_VALUE
                 from MY_SOURCE_TABLE
                where IT_IS_BEING_MOVED_TO_TARGET IS TRUE)
     loop
       -- iterate over the partitions
       l_found_list_part := false;
       for k in l_partition_recs.first..l_partition_recs.last
       loop
         -- find the right partition / subpartition for list_value / date_value
         if (    (i.DATE_VALUE >= l_partition_recs(k).min_ts)
             and (i.DATE_VALUE <= l_partition_recs(k).max_ts) ) then
           if (l_found_list_value = false) then
             if (to_char(i.LIST_COLUMN, '9999') = l_partition_recs(k).LIST_COLUMN) then
               l_found_list_value := true;
             elsif (l_partition_recs(k).LIST_COLUMN = 'DEFAULT') then
               l_partition_rec := l_partition_recs(k);
             end if;
           end if;
         end if;
       end loop;  -- over l_partition_recs
       -- log those partitions for later index rebuild
       begin
         insert into index_subpart_rebuild
           (table_name, partition_name, subpartition_name)
         values
           (l_partition_rec.table_name, l_partition_rec.partition_name,
            l_partition_rec.subpartition_name);
       exception
         when dup_val_on_index then null;
         when others then raise;
       end;
     end loop;  -- over MY_TARGET_TABLE.DATE_VALUE values
     commit;
     for i in (select ui.index_name, uis.subpartition_name
                 from user_indexes ui
                      inner join user_ind_subpartitions uis
                         on ui.index_name = uis.index_name
                      inner join index_subpart_rebuild re
                         on re.subpartition_name = uis.subpartition_name
                where ui.table_name = 'MY_TARGET_TABLE')
     loop
       l_sql := 'alter index ' || i.index_name ||
                ' modify subpartition ' || i.subpartition_name || ' unusable';
       execute immediate l_sql;
     end loop;
   end DISABLE_LOCAL_INDEXES;