Mysql
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> Mysql

Một cách để đọc dữ liệu bảng từ Mysql sang Pig

Giống như bạn nói, DBStorage chỉ hỗ trợ lưu kết quả vào cơ sở dữ liệu.

Để tải dữ liệu từ MySQL, bạn có thể xem xét một dự án có tên sqoop (sao chép dữ liệu từ cơ sở dữ liệu sang HDFS) hoặc bạn có thể thực hiện kết xuất mysql và sau đó sao chép tệp vào HDFS. Cả hai cách đều yêu cầu một số tương tác và không thể sử dụng trực tiếp từ bên trong Pig.

Tùy chọn thứ ba sẽ là xem xét việc viết một Pig LoadFunc (bạn nói rằng bạn đã cố gắng viết một UDF). Nó sẽ không quá khó, bạn sẽ cần phải vượt qua nhiều tùy chọn giống như DBStorage (trình điều khiển, thông tin đăng nhập kết nối và truy vấn SQL để thực thi) và bạn có thể sử dụng một số kiểm tra siêu dữ liệu tập kết quả để tự động tạo một lược đồ.




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. kết quả kép trong mảng của tôi (mysql_fetch_array)

  2. Làm cách nào để đếm các cột của bảng

  3. Làm cách nào để đặt bí danh cơ sở dữ liệu trong MySQL?

  4. Thời gian thực thi tối đa trong phpMyadmin

  5. Kiểm tra xem hàng có tồn tại không, Laravel