PostgreSQL
 sql >> Cơ Sở Dữ Liệu >  >> RDS >> PostgreSQL

Sử dụng pyspark để kết nối với PostgreSQL

Tải xuống Trình điều khiển PostgreSQL JDBC từ https://jdbc.postgresql.org/download.html

Sau đó, thay thế các giá trị cấu hình cơ sở dữ liệu bằng của bạn.

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.jars", "/path_to_postgresDriver/postgresql-42.2.5.jar") \
    .getOrCreate()

df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql://localhost:5432/databasename") \
    .option("dbtable", "tablename") \
    .option("user", "username") \
    .option("password", "password") \
    .option("driver", "org.postgresql.Driver") \
    .load()

df.printSchema()

Thông tin thêm:https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Openshift và net-ssh không tương thích? (2.9.3-beta1 so với 2.9.2)

  2. Lược đồ Django và postgresql

  3. Sử dụng JSONB trong PostgreSQL:Cách lưu trữ &lập chỉ mục hiệu quả dữ liệu JSON trong PostgreSQL

  4. Khôi phục tệp sao lưu postgres bằng dòng lệnh?

  5. Quan hệ được chuyển đến # hoặc phải tương thích về cấu trúc. Các giá trị không tương thích:[:reference]