MongoDB
 sql >> Cơ Sở Dữ Liệu >  >> NoSQL >> MongoDB

Không thể gửi dữ liệu tới MongoDB bằng Truyền trực tuyến có cấu trúc Kafka-Spark

Theo lỗi, bạn đã có một chuỗi, (bạn đã thực hiện df.selectExpr("CAST(value AS STRING)") ), vì vậy bạn nên thử nhận sự kiện Hàng dưới dạng String và không phải là Array[Byte]

Bắt đầu bằng cách thay đổi

val valueStr = new String(record.getAs[Array[Byte]]("value"))

đến

val valueStr = record.getAs[String]("value")

Tôi hiểu rằng bạn có thể đã có một cụm để chạy mã Spark, nhưng tôi khuyên bạn vẫn nên xem xét Trình kết nối bồn rửa Kafka Connect Mongo để bạn không phải viết và duy trì trình viết Mongo của riêng mình trong mã Spark.

Hoặc, bạn có thể ghi trực tiếp tập dữ liệu Spark vào mongo




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Lỗi Mongo-go-driver Lỗi máy khách mới ClientOptions trong đối số với mongo.NewClient

  2. Không đồng bộ, Gọi lại, Đóng cửa, Ôi trời

  3. Làm cách nào để chỉ định Thứ tự hoặc Sắp xếp bằng trình điều khiển C # cho MongoDB?

  4. Có thể làm gì với Mongo Aggregation / Performance of Mongo Aggregation

  5. Trả lại Mono <UpdateResult> với mẫu Reactive MongoDB