Mysql
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> Mysql

Spark:Không thể đọc bảng MySQL lớn vào DataFrame

Spark JDBC API dường như phân nhánh để tải tất cả dữ liệu từ bảng MySQL vào bộ nhớ mà không cần. Vì vậy, khi bạn cố gắng tải một bảng lớn, điều bạn nên làm là sử dụng dữ liệu sao chép API Spark sang HDFS trước (JSON nên được sử dụng để giữ cấu trúc lược đồ), như sau:

spark.read.jdbc(jdbcUrl, tableName, prop)
       .write()
       .json("/fileName.json");

Sau đó, bạn có thể làm việc trên HDFS một cách bình thường.

spark.read().json("/fileName.json")
       .createOrReplaceTempView(tableName);



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Cập nhật tất cả các giá trị của một cột thành chữ thường

  2. Java combobox swing

  3. Truy vấn MySQL trả về các hàng trùng lặp

  4. Tự động tạo sơ đồ cơ sở dữ liệu MySQL

  5. Làm thế nào tồi tệ bằng cách sử dụng SELECT MAX (id) trong MYSQL thay vì mysql_insert_id () trong PHP?