MongoDB
 sql >> Cơ Sở Dữ Liệu >  >> NoSQL >> MongoDB

Không tìm thấy nguồn dữ liệu:com.mongodb.spark.sql.DefaultSource

Đây là cách tôi đã thực hiện trong sổ ghi chép Jupyter:
1. Tải xuống các bình từ trung tâm hoặc bất kỳ kho lưu trữ nào khác và đặt chúng vào thư mục có tên "bình":
mongo-spark-connector_2.11-2.4.0
mongo-java-driver-3.9.0
2. Tạo phiên và ghi / đọc bất kỳ dữ liệu nào

from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *

working_directory = 'jars/*'

my_spark = SparkSession \
    .builder \
    .appName("myApp") \
    .config("spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection") \
    .config("spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection") \
    .config('spark.driver.extraClassPath', working_directory) \
    .getOrCreate()

people = my_spark.createDataFrame([("JULIA", 50), ("Gandalf", 1000), ("Thorin", 195), ("Balin", 178), ("Kili", 77),
                            ("Dwalin", 169), ("Oin", 167), ("Gloin", 158), ("Fili", 82), ("Bombur", 22)], ["name", "age"])

people.write.format("com.mongodb.spark.sql.DefaultSource").mode("append").save()

df = my_spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
df.select('*').where(col("name") == "JULIA").show()

Kết quả là bạn sẽ thấy:



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Laravel 4:Không tìm thấy lớp 'MongoClient'

  2. Cách xem tính năng của bạnCompatibilityVersion trong MongoDB

  3. Tìm hiểu xem một Truy vấn có sử dụng Chỉ mục trong MongoDB hay không

  4. MongoDB không được ủy quyền cho truy vấn - mã 13

  5. Sử dụng $ lookup trong một mảng đối tượng