Làm thế nào để chuyển đổi một bảng SQL 500GB thành Apache Parquet?

Apache Spark có thể được sử dụng để làm điều này:

1.load your table from mysql via jdbc
2.save it as a parquet file

Ví dụ:

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.jdbc("YOUR_MYSQL_JDBC_CONN_STRING",  "YOUR_TABLE",properties={"user": "YOUR_USER", "password": "YOUR_PASSWORD"})
df.write.parquet("YOUR_HDFS_FILE")