From 54c8df888052ff51323f9f5293d718cd291816de Mon Sep 17 00:00:00 2001 From: Wlovever Date: Fri, 9 Sep 2022 14:52:12 +0800 Subject: [PATCH 01/10] add blog --- content/zh/post/wllove/gsql.md | 80 ++++++++++++++++++++++++++++++++++ 1 file changed, 80 insertions(+) create mode 100644 content/zh/post/wllove/gsql.md diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md new file mode 100644 index 00000000..387a8cbf --- /dev/null +++ b/content/zh/post/wllove/gsql.md @@ -0,0 +1,80 @@ ++++ +title = "使用gsql元命令导入数据" +date = "2022-08-19" +tags = ["OpenGauss3.0.0"] +archives = "2020-08" +author = "wllovever" +summary = "OpenGauss3.0.0" +img = "" +times = "18:10" ++++ + +## 使用gsql元命令导入数据 +gsql工具提供了元命令\copy进行数据导入。 +copy元命令说明
语法： +copy { table [ ( column_list ) ] |( query ) } { from | to } { filename |stdin | stdout | pstdin | pstdout }[ with ] [ binary ] [ delimiter[ as ] 'character' ] [ null [ as ] 'string' ][ csv [ header ] [ quote [ as ] +'character' ] [ escape [ as ] 'character' ][ force quote column_list | * ] [ force not null column_list ] ] +说明： +在任何gsql客户端登录数据库成功后，可以使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同，该命令读取/写入的文件是本地文件，而非数据库服务器端文件；所以，要操作的文件的可访问性、权限等，都是受限于本地用户的权限。 +说明： +COPY只适合小批量、格式良好的数据导入，不会对非法字符做预处理，也无容错能力，无法适用于含有异常数据的场景。导入数据应优先选择COPY。 + +## 参数说明 + +- table表的名称（可以有模式修饰）。取值范围：已存在的表名。 +- column_list可选的待拷贝字段列表。取值范围：任意字段。如果没有声明字段列表，将使用所有字段。 +- query其结果将被拷贝。取值范围：一个必须用圆括弧包围的SELECT或VALUES命令。 +- filename文件的绝对路径。执行copy命令的用户必须有此路径的写权限。 +- stdin声明输入是来自标准输入。 +- stdout声明输出打印到标准输出。 +- pstdin声明输入是来自gsql的标准输入。 +- pstout +- 声明输出打印到gsql的标准输出。 +- binary使用二进制格式存储和读取，而不是以文本的方式。在二进制模式下，不能声明DELIMITER、NULL、CSV选项。指定binary类型后，不能再通过option或copy_option指定CSV、FIXED、TEXT等类型。 +- delimiter [ as ] 'character'指定数据文件行数据的字段分隔符。 + +注意事项： + +- 分隔符不能是\r和\n。 +- 分隔符不能和null参数相同，CSV格式数据的分隔符不能和quote参数相同。 +- TEXT格式数据的分隔符不能包含： .abcdefghijklmnopqrstuvwxyz0123456789。 +- 数据文件中单行数据长度需<1GB，如果分隔符较长且数据列较多的情况下，会影响导出有效数据的长度。 +- 分隔符推荐使用多字符和不可见字符。多字符例如'$^&'；不可见字符例如0x07、0x08、0x1b等。 + +- 取值范围：支持多字符分隔符，但分隔符不能超过10个字节。默认值： + - TEXT格式的默认分隔符是水平制表符（tab）。 + - CSV格式的默认分隔符为“,”。 + - FIXED格式没有分隔符。 +- null [ as ] 'string'用来指定数据文件中空值的表示。取值范围：默认值： + - null值不能是\r和\n，最大为100个字符。 + - null值不能和分隔符、quote参数相同。 + - CSV格式下默认值是一个没有引号的空字符串。 + - 在TEXT格式下默认值是\N。 +- header指定导出数据文件是否包含标题行，标题行一般用来描述表中每个字段的信息。header只能用于CSV，FIXED格式的文件中。在导入数据时，如果header选项为on，则数据文本第一行会被识别为标题行，会忽略此行。如果header为off，而数据文件中第一行会被识别为数据。在导出数据时，如果header选项为on，则需要指定fileheader。fileheader是指定导出数据包含标题行的定义文件。如果header为off，则导出数据文件不包含标题行。取值范围：true/on，false/off。默认值：false +- quote [ as ] 'character'CSV格式文件下的引号字符。默认值：双引号。 + +（- quote参数不能和分隔符、null参数相同。 +- quote参数只能是单字节的字符。 +- 推荐不可见字符作为quote，例如0x07、0x08、0x1b等。） + +- escape [ as ] 'character'CSV格式下，用来指定逃逸字符，逃逸字符只能指定为单字节字符。默认值：双引号。当与quote值相同时，会被替换为'\0'。 +- force quote column_list | *在CSV COPY TO模式下，强制在每个声明的字段周围对所有非NULL值都使用引号包围。NULL输出不会被引号包围。取值范围：已存在的字段。 +- force not null column_list在CSV COPY FROM模式下，指定的字段输入不能为空。取值范围：已存在的字段。 + + +## 命令示例 +创建目标表a。 +CREATE TABLE a(a int);
导入数据。 +从stdin拷贝数据到目标表a。
\copy a from stdin; +出现>>符号提示时，输入数据，输入.时结束。 + Enter data to be copied followed by a newline. +End with a backslash and a period on a line by itself. + >> 1 +>> 2 +>> +查询导入目标表a的数据。 +  openGauss=# SELECT * FROM a; +从本地文件拷贝数据到目标表a。假设存在本地文件/home/omm/2.csv。 +分隔符为“，”。
在导入过程中，若数据源文件比外表定义的列数多，则忽略行尾多出来的列。 +copy a FROM '/home/omm/2.csv' WITH (delimiter',',IGNORE_EXTRA_DATA 'on'); + -- Gitee From cfb48f8c3ee045dcbd1dcbc204fcb407c74c145a Mon Sep 17 00:00:00 2001 From: wllove Date: Fri, 9 Sep 2022 07:13:06 +0000 Subject: [PATCH 02/10] =?UTF-8?q?=E5=88=A0=E9=99=A4=E6=96=87=E4=BB=B6=20co?= =?UTF-8?q?ntent/zh/post/wllove/=E5=A2=9E=E9=87=8F=E7=89=A9=E5=8C=96?= =?UTF-8?q?=E8=A7=86=E5=9B=BE=E7=9A=84=E4=BD=BF=E7=94=A8.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...76\347\232\204\344\275\277\347\224\250.md" | 132 ------------------ 1 file changed, 132 deletions(-) delete mode 100644 "content/zh/post/wllove/\345\242\236\351\207\217\347\211\251\345\214\226\350\247\206\345\233\276\347\232\204\344\275\277\347\224\250.md" diff --git "a/content/zh/post/wllove/\345\242\236\351\207\217\347\211\251\345\214\226\350\247\206\345\233\276\347\232\204\344\275\277\347\224\250.md" "b/content/zh/post/wllove/\345\242\236\351\207\217\347\211\251\345\214\226\350\247\206\345\233\276\347\232\204\344\275\277\347\224\250.md" deleted file mode 100644 index 0cfbff74..00000000 --- "a/content/zh/post/wllove/\345\242\236\351\207\217\347\211\251\345\214\226\350\247\206\345\233\276\347\232\204\344\275\277\347\224\250.md" +++ /dev/null @@ -1,132 +0,0 @@ -+++ -title = "增量物化视图的使用" -date = "2022-09-09" -tags = ["OpenGauss3.0.0"] -archives = "2020-09" -author = "wllovever" -summary = "OpenGauss3.0.0" -img = "/zh/post/wllove/tilte/title.jpg" -times = "15:10" -+++ - - -##增量物化视图介绍 - -增量物化视图可以对物化视图增量刷新，需要用户手动执行语句完成对物化视图在一段时间内的增量数据刷新。与全量创建物化视图的不同在于目前增量物化视图所支持场景较小。 - -目前物化视图创建语句仅支持基表扫描语句或者UNION ALL语句。 - -##增量物化视图使用场景介绍 - -1.支持场景： - -单表查询语句。 - -多个单表查询的UNION ALL。 - -物化视图上支持创建索引。 - -物化视图支持Analyze操作。 - -2.不支持场景 - -物化视图中不支持多表Join连接计划以及subquery计划。 - -除少部分ALTER操作外，不支持对物化视图中基表执行绝大多数DDL操作。 - -物化视图不支持增删改操作，只支持查询语句。 - -不支持用临时表/hashbucket/unlog/分区表创建物化视图。 - -不支持物化视图嵌套创建（即物化视图上创建物化视图）。 - -仅支持行存表，不支持列存表。 - -不支持UNLOGGED类型的物化视图，不支持WITH语法。 - -3.约束 - -物化视图定义如果为UNION ALL，则其中每个子查询需使用不同的基表。 - -增量物化视图的创建、全量刷新、删除过程中会给基表加高级别锁，若物化视图的定义为UNION ALL，需要注意业务逻辑，避免死锁产生。 - -##增量物化视图的使用 - -创建增量物化视图 - -CREATE INCREMENTAL MATERIALIZED VIEW [ view_name ] AS { query_block }; - -全量刷新物化视图 - -REFRESH MATERIALIZED VIEW [ view_name ]; - -增量刷新物化视图 - -REFRESH INCREMENTAL MATERIALIZED VIEW [ view_name ]; - -删除物化视图 - -DROP MATERIALIZED VIEW [ view_name ]; - -查询物化视图 - -SELECT * FROM [ view_name ]; - -##增量物化视图示例 - ---准备数据。 - -openGauss=# CREATE TABLE t1(c1 int, c2 int); -openGauss=# INSERT INTO t1 VALUES(1, 1); -openGauss=# INSERT INTO t1 VALUES(2, 2); - ---创建增量物化视图。 - -openGauss=# CREATE INCREMENTAL MATERIALIZED VIEW mv AS SELECT * FROM t1; -CREATE MATERIALIZED VIEW - ---插入数据。 - -openGauss=# INSERT INTO t1 VALUES(3, 3); -INSERT 0 1 - ---增量刷新物化视图。 - -openGauss=# REFRESH INCREMENTAL MATERIALIZED VIEW mv; -REFRESH MATERIALIZED VIEW - ---查询物化视图结果。 - -openGauss=# SELECT * FROM mv; - c1 | c2 -----+---- - 1 | 1 - 2 | 2 - 3 | 3 -(3 rows) - ---插入数据。 - -openGauss=# INSERT INTO t1 VALUES(4, 4); -INSERT 0 1 - ---全量刷新物化视图。 - -openGauss=# REFRESH MATERIALIZED VIEW mv; -REFRESH MATERIALIZED VIEW - ---查询物化视图结果。 - -openGauss=# select * from mv; - c1 | c2 -----+---- - 1 | 1 - 2 | 2 - 3 | 3 - 4 | 4 -(4 rows) - ---删除物化视图。 - -openGauss=# DROP MATERIALIZED VIEW mv; -DROP MATERIALIZED VIEW \ No newline at end of file -- Gitee From eef58ff64e8f3264a04416ed8106698743f255b8 Mon Sep 17 00:00:00 2001 From: wllove Date: Sun, 18 Sep 2022 12:21:07 +0000 Subject: [PATCH 03/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 28 ++++++++++++++++++++++++++-- 1 file changed, 26 insertions(+), 2 deletions(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index 387a8cbf..ab7acda9 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -12,8 +12,12 @@ times = "18:10" ## 使用gsql元命令导入数据 gsql工具提供了元命令\copy进行数据导入。 copy元命令说明
语法： + +、、、 copy { table [ ( column_list ) ] |( query ) } { from | to } { filename |stdin | stdout | pstdin | pstdout }[ with ] [ binary ] [ delimiter[ as ] 'character' ] [ null [ as ] 'string' ][ csv [ header ] [ quote [ as ] 'character' ] [ escape [ as ] 'character' ][ force quote column_list | * ] [ force not null column_list ] ] +、、、 + 说明： 在任何gsql客户端登录数据库成功后，可以使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同，该命令读取/写入的文件是本地文件，而非数据库服务器端文件；所以，要操作的文件的可访问性、权限等，都是受限于本地用户的权限。 说明： @@ -64,17 +68,37 @@ COPY只适合小批量、格式良好的数据导入，不会对非法字符做 ## 命令示例 创建目标表a。 -CREATE TABLE a(a int);
导入数据。 -从stdin拷贝数据到目标表a。
\copy a from stdin; + +、、、 +CREATE TABLE a(a int); 导入数据。 +、、、 + +从stdin拷贝数据到目标表a。 + +、、、 + \copy a from stdin; +、、、 + 出现>>符号提示时，输入数据，输入.时结束。 + +、、、 Enter data to be copied followed by a newline. End with a backslash and a period on a line by itself. >> 1 >> 2 >> +、、、 + 查询导入目标表a的数据。 + +、、、   openGauss=# SELECT * FROM a; +、、、 + 从本地文件拷贝数据到目标表a。假设存在本地文件/home/omm/2.csv。 分隔符为“，”。
在导入过程中，若数据源文件比外表定义的列数多，则忽略行尾多出来的列。 + +、、、 copy a FROM '/home/omm/2.csv' WITH (delimiter',',IGNORE_EXTRA_DATA 'on'); +、、、 -- Gitee From 23ebe157a32ba85bf6587857bfd540c973664eed Mon Sep 17 00:00:00 2001 From: wllove Date: Sun, 18 Sep 2022 12:21:52 +0000 Subject: [PATCH 04/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index ab7acda9..d7f8eb08 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -11,7 +11,7 @@ times = "18:10" ## 使用gsql元命令导入数据 gsql工具提供了元命令\copy进行数据导入。 -copy元命令说明
语法： +copy元命令说明
语法： 、、、 copy { table [ ( column_list ) ] |( query ) } { from | to } { filename |stdin | stdout | pstdin | pstdout }[ with ] [ binary ] [ delimiter[ as ] 'character' ] [ null [ as ] 'string' ][ csv [ header ] [ quote [ as ] -- Gitee From b56a48672a33eea85ff75004bf4cf2c76c8d74b5 Mon Sep 17 00:00:00 2001 From: wllove Date: Sun, 18 Sep 2022 12:23:17 +0000 Subject: [PATCH 05/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 25 ++++++++++++------------- 1 file changed, 12 insertions(+), 13 deletions(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index d7f8eb08..5d9b7181 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -13,10 +13,10 @@ times = "18:10" gsql工具提供了元命令\copy进行数据导入。 copy元命令说明
语法： -、、、 +``` copy { table [ ( column_list ) ] |( query ) } { from | to } { filename |stdin | stdout | pstdin | pstdout }[ with ] [ binary ] [ delimiter[ as ] 'character' ] [ null [ as ] 'string' ][ csv [ header ] [ quote [ as ] 'character' ] [ escape [ as ] 'character' ][ force quote column_list | * ] [ force not null column_list ] ] -、、、 +``` 说明： 在任何gsql客户端登录数据库成功后，可以使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同，该命令读取/写入的文件是本地文件，而非数据库服务器端文件；所以，要操作的文件的可访问性、权限等，都是受限于本地用户的权限。 @@ -69,36 +69,35 @@ COPY只适合小批量、格式良好的数据导入，不会对非法字符做 ## 命令示例 创建目标表a。 -、、、 +``` CREATE TABLE a(a int); 导入数据。 -、、、 +``` 从stdin拷贝数据到目标表a。 -、、、 +``` \copy a from stdin; -、、、 - +``` 出现>>符号提示时，输入数据，输入.时结束。 -、、、 +``` Enter data to be copied followed by a newline. End with a backslash and a period on a line by itself. >> 1 >> 2 >> -、、、 +``` 查询导入目标表a的数据。 -、、、 +```   openGauss=# SELECT * FROM a; -、、、 +``` 从本地文件拷贝数据到目标表a。假设存在本地文件/home/omm/2.csv。 分隔符为“，”。
在导入过程中，若数据源文件比外表定义的列数多，则忽略行尾多出来的列。 -、、、 +``` copy a FROM '/home/omm/2.csv' WITH (delimiter',',IGNORE_EXTRA_DATA 'on'); -、、、 +``` -- Gitee From a2932930d5735c6e1d39112db33a3cc940015ccf Mon Sep 17 00:00:00 2001 From: wllove Date: Sun, 18 Sep 2022 12:27:59 +0000 Subject: [PATCH 06/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 16 ++++++++-------- 1 file changed, 8 insertions(+), 8 deletions(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index 5d9b7181..f02f9484 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -1,12 +1,12 @@ +++ -title = "使用gsql元命令导入数据" -date = "2022-08-19" -tags = ["OpenGauss3.0.0"] -archives = "2020-08" -author = "wllovever" -summary = "OpenGauss3.0.0" -img = "" -times = "18:10" +title = "使用gsql元命令导入数据" +date = "2022-08-19" +tags = ["OpenGauss3.0.0"] +archives = "2020-08" +author = "wllovever" +summary = "OpenGauss3.0.0" +img = "" +times = "18:10" +++ ## 使用gsql元命令导入数据 -- Gitee From f839851c9d9197c8406c7746201d584ac83c790b Mon Sep 17 00:00:00 2001 From: wllove Date: Wed, 21 Sep 2022 06:54:09 +0000 Subject: [PATCH 07/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index f02f9484..6918d0ff 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -1,11 +1,11 @@ -+++ ++++ title = "使用gsql元命令导入数据" date = "2022-08-19" tags = ["OpenGauss3.0.0"] archives = "2020-08" author = "wllovever" summary = "OpenGauss3.0.0" -img = "" +img = "/zh/post/wllove/tilte/title.jpg" times = "18:10" +++ -- Gitee From 9f0bd6dfa5d23df68dc49ac63832176dc6830077 Mon Sep 17 00:00:00 2001 From: wllove Date: Fri, 23 Sep 2022 07:14:22 +0000 Subject: [PATCH 08/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index 6918d0ff..06a99ece 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -5,9 +5,9 @@ tags = ["OpenGauss3.0.0"] archives = "2020-08" author = "wllovever" summary = "OpenGauss3.0.0" -img = "/zh/post/wllove/tilte/title.jpg" +img = "" times = "18:10" -+++ ++++ ## 使用gsql元命令导入数据 gsql工具提供了元命令\copy进行数据导入。 -- Gitee From 8e6f413db74e48b70bb290973d1c2049020c1f50 Mon Sep 17 00:00:00 2001 From: wllove Date: Fri, 23 Sep 2022 08:33:45 +0000 Subject: [PATCH 09/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index 06a99ece..5e2c4c87 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -1,11 +1,11 @@ +++ -title = "使用gsql元命令导入数据" +title = "使用gsql元命令导入数据" date = "2022-08-19" tags = ["OpenGauss3.0.0"] archives = "2020-08" author = "wllovever" summary = "OpenGauss3.0.0" -img = "" +img = "/zh/post/wllove/title/title.jpg" times = "18:10" +++ -- Gitee From c222ce7c42bf6480469fac6e99809cc361987210 Mon Sep 17 00:00:00 2001 From: wllove Date: Fri, 23 Sep 2022 10:01:26 +0000 Subject: [PATCH 10/10] update content/zh/post/wllove/gsql.md. Signed-off-by: wllove --- content/zh/post/wllove/gsql.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/content/zh/post/wllove/gsql.md b/content/zh/post/wllove/gsql.md index 5e2c4c87..9a46e157 100644 --- a/content/zh/post/wllove/gsql.md +++ b/content/zh/post/wllove/gsql.md @@ -5,7 +5,7 @@ tags = ["OpenGauss3.0.0"] archives = "2020-08" author = "wllovever" summary = "OpenGauss3.0.0" -img = "/zh/post/wllove/title/title.jpg" +img = "/zh/post/wllove/title/title.png" times = "18:10" +++ -- Gitee