Tôi không chắc tại sao câu trả lời ở trên không phù hợp với tôi nhưng tôi nghĩ tôi cũng có thể chia sẻ những gì thực sự hiệu quả với tôi khi chạy pyspark từ sổ ghi chép jupyter (Spark 2.3.1 - Python 3.6.3):
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)
