Spark có thể đọc và viết dữ liệu đến / từ cơ sở dữ liệu quan hệ bằng cách sử dụng nguồn dữ liệu JDBC (giống như bạn đã làm trong ví dụ mã đầu tiên của mình).
Ngoài ra (và hoàn toàn riêng biệt), spark cho phép sử dụng SQL để truy vấn lượt xem được tạo trên dữ liệu đã được tải vào DataFrame từ một số nguồn. Ví dụ:
val df = Seq(1,2,3).toDF("a") // could be any DF, loaded from file/JDBC/memory...
df.createOrReplaceTempView("my_spark_table")
spark.sql("select a from my_spark_table").show()
Chỉ các "bảng" (được gọi là chế độ xem, kể từ Spark 2.0.0) được tạo theo cách này mới có thể được truy vấn bằng cách sử dụng SparkSession.sql .
Nếu dữ liệu của bạn được lưu trữ trong cơ sở dữ liệu quan hệ, Spark sẽ phải đọc nó từ đó trước tiên và chỉ sau đó nó mới có thể thực thi bất kỳ phép tính phân tán nào trên bản sao đã tải. Điểm mấu chốt - chúng ta có thể tải dữ liệu từ bảng bằng cách sử dụng read , tạo một chế độ xem tạm thời, rồi truy vấn nó:
ss.read
.format("jdbc")
.option("url", "jdbc:mysql://127.0.0.1/database_name")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.load()
.createOrReplaceTempView("my_spark_table")
// and then you can query the view:
val df = ss.sql("select * from my_spark_table where ... ")
