Mysql
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> Mysql

pyspark mysql jdbc load Đã xảy ra lỗi khi gọi o23.load Không có trình điều khiển phù hợp

Tôi gặp phải "java.sql.SQLException:Không có trình điều khiển phù hợp" khi tôi cố gắng ghi tập lệnh của mình vào MySQL.

Đây là những gì tôi đã làm để khắc phục điều đó.

Trong script.py

df.write.jdbc(url="jdbc:mysql://localhost:3333/my_database"
                  "?user=my_user&password=my_password",
              table="my_table",
              mode="append",
              properties={"driver": 'com.mysql.jdbc.Driver'})

Sau đó, tôi chạy spark-submit theo cách này

SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.1/libexec spark-submit --packages mysql:mysql-connector-java:5.1.39 ./script.py

Lưu ý rằng SPARK_HOME dành riêng cho nơi cài đặt tia lửa. Đối với môi trường của bạn, https://github.com/sequenceiq/docker -spark / blob / master / README.md có thể hữu ích.

Trong trường hợp tất cả những điều trên gây nhầm lẫn, hãy thử cách này:
Trong t.py thay thế

sqlContext.read.format("jdbc").option("url",url).option("dbtable","people").load()

với

sqlContext.read.format("jdbc").option("dbtable","people").option("driver", 'com.mysql.jdbc.Driver').load()

Và chạy điều đó với

spark-submit --packages mysql:mysql-connector-java:5.1.39 --master local[4] t.py


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Đổi tên bảng Amazon RDS thành lỗi ném chữ hoa

  2. Phân trang hồ sơ về vấn đề phía Khách hàng

  3. Làm cách nào để bạn lưu trữ các số ký hiệu khoa học trong MySQL

  4. Cách (âm thầm) gỡ cài đặt MySQL trên Windows 32 và 64 bit

  5. Sử dụng IS NULL và COALESCE trong OrderBy Doctrine Querybuilder