Cách tạo lược đồ từ CSV cho Bản sao PostgreSQL

Nếu CSV không quá lớn và có sẵn trên máy cục bộ của bạn thì csvkit là giải pháp đơn giản nhất. Nó cũng chứa một số tiện ích khác để làm việc với CSV, vì vậy nó là công cụ hữu ích để biết chung.

Khi gõ đơn giản nhất vào shell:

$ csvsql myfile.csv

sẽ in ra CREATE TABLE được yêu cầu Lệnh SQL, có thể được lưu vào một tệp bằng cách sử dụng chuyển hướng đầu ra.

Nếu bạn cũng cung cấp một chuỗi kết nối csvsql sẽ tạo bảng và tải tệp lên chỉ trong một lần:

$ csvsql --db "$MY_DB_URI" --insert myfile.csv

Ngoài ra còn có các tùy chọn để chỉ định hương vị của SQL và CSV mà bạn đang làm việc. Chúng được ghi lại trong trợ giúp nội trang:

$ csvsql -h
usage: csvsql [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
              [-p ESCAPECHAR] [-z MAXFIELDSIZE] [-e ENCODING] [-S] [-H] [-v]
              [--zero] [-y SNIFFLIMIT]
              [-i {access,sybase,sqlite,informix,firebird,mysql,oracle,maxdb,postgresql,mssql}]
              [--db CONNECTION_STRING] [--query QUERY] [--insert]
              [--tables TABLE_NAMES] [--no-constraints] [--no-create]
              [--blanks] [--no-inference] [--db-schema DB_SCHEMA]
              [FILE [FILE ...]]

Generate SQL statements for one or more CSV files, create execute those
statements directly on a database, and execute one or more SQL queries.
positional arguments:
  FILE                  The CSV file(s) to operate on. If omitted, will accept
                        input on STDIN.

optional arguments:
  -h, --help            show this help message and exit
  -d DELIMITER, --delimiter DELIMITER
                        Delimiting character of the input CSV file.
  -t, --tabs            Specifies that the input CSV file is delimited with
                        tabs. Overrides "-d".
  -q QUOTECHAR, --quotechar QUOTECHAR
                        Character used to quote strings in the input CSV file.
  -u {0,1,2,3}, --quoting {0,1,2,3}
                        Quoting style used in the input CSV file. 0 = Quote
                        Minimal, 1 = Quote All, 2 = Quote Non-numeric, 3 =
                        Quote None.
  -b, --doublequote     Whether or not double quotes are doubled in the input
                        CSV file.
  -p ESCAPECHAR, --escapechar ESCAPECHAR
                        Character used to escape the delimiter if --quoting 3
                        ("Quote None") is specified and to escape the
                        QUOTECHAR if --doublequote is not specified.
  -z MAXFIELDSIZE, --maxfieldsize MAXFIELDSIZE
                        Maximum length of a single field in the input CSV
                        file.
  -e ENCODING, --encoding ENCODING
                        Specify the encoding the input CSV file.
  -S, --skipinitialspace
                        Ignore whitespace immediately following the delimiter.
  -H, --no-header-row   Specifies that the input CSV file has no header row.
                        Will create default headers.
  -v, --verbose         Print detailed tracebacks when errors occur.
  --zero                When interpreting or displaying column numbers, use
                        zero-based numbering instead of the default 1-based
                        numbering.
  -y SNIFFLIMIT, --snifflimit SNIFFLIMIT
                        Limit CSV dialect sniffing to the specified number of
                        bytes. Specify "0" to disable sniffing entirely.
  -i {access,sybase,sqlite,informix,firebird,mysql,oracle,maxdb,postgresql,mssql}, --dialect {access,sybase,sqlite,informix,firebird,mysql,oracle,maxdb,postgresql,mssql}
                        Dialect of SQL to generate. Only valid when --db is
                        not specified.
  --db CONNECTION_STRING
                        If present, a sqlalchemy connection string to use to
                        directly execute generated SQL on a database.
  --query QUERY         Execute one or more SQL queries delimited by ";" and
                        output the result of the last query as CSV.
  --insert              In addition to creating the table, also insert the
                        data into the table. Only valid when --db is
                        specified.
  --tables TABLE_NAMES  Specify one or more names for the tables to be
                        created. If omitted, the filename (minus extension) or
                        "stdin" will be used.
  --no-constraints      Generate a schema without length limits or null
                        checks. Useful when sampling big tables.
  --no-create           Skip creating a table. Only valid when --insert is
                        specified.
  --blanks              Do not coerce empty strings to NULL values.
  --no-inference        Disable type inference when parsing the input.
  --db-schema DB_SCHEMA
                        Optional name of database schema to create table(s)
                        in.

Một số công cụ khác cũng thực hiện suy luận lược đồ bao gồm:

• Apache Spark
• Gấu trúc (Python)
• Blaze (Python)
• read.csv + gói db yêu thích của bạn trong R

Mỗi định dạng này đều có chức năng đọc CSV (và các định dạng khác) vào cấu trúc dữ liệu dạng bảng thường được gọi là DataFrame hoặc tương tự, suy ra các loại cột trong quy trình. Sau đó, họ có các lệnh khác để viết ra một lược đồ SQL tương đương hoặc tải lên DataFrame trực tiếp vào một cơ sở dữ liệu được chỉ định. Việc lựa chọn công cụ sẽ phụ thuộc vào khối lượng dữ liệu, cách nó được lưu trữ, các đặc tính riêng của CSV của bạn, cơ sở dữ liệu đích và ngôn ngữ bạn muốn làm việc.