Cách tăng tốc độ tải dữ liệu từ oracle sql sang pandas df

Đặt giá trị thích hợp cho cur.arraysize có thể giúp ích cho điều chỉnh hiệu suất tìm nạp .Bạn cần xác định giá trị phù hợp nhất cho nó. Giá trị mặc định là 100 . Mã có kích thước mảng khác có thể được chạy để xác định giá trị đó, chẳng hạn như

arr=[100,1000,10000,100000,1000000]
for size in arr:
        try:
            cur.prefetchrows = 0
            cur.arraysize = size
            start = datetime.now()
            cur.execute("SELECT * FROM mytable").fetchall()
            elapsed = datetime.now() - start
            print("Process duration for arraysize ", size," is ", elapsed, " seconds")
        except Exception as err:
            print("Memory Error ", err," for arraysize ", size) 

và sau đó đặt chẳng hạn như cur.arraysize =10000 trước khi gọi db_select từ mã gốc của bạn