展开

关键词

SqliteMySql

想把手上的Sqlite到MySql,想来应该很简单,结果发现非常麻烦。 1、工具直。试着找了几个软件,都不行。网上有人开发的,但是要收费,也不能用。 2、用各自支持的方式,中转。 sqlite可以把表出,mysql可以,想来比较容易,却无的坑: 1)最好用的是dbf,双方都支持,而且带表结构。但是——dbf对中文支持稀烂。出来的打开就已经是乱码了,想各种招都不行。 2)xml,时列识别不了 3)json不支持 4)xls,格式会将一些字符串自作主张的改得乱七八糟,也头疼 5)用access倒是可以,就是非常麻烦 3、最后找到一条路径,可以完成: 1)把sqlite 2)用sqlite的 ? 注意,配置中默认编码是“cp936”,改为utf-8。分隔符默认是逗号。还要选中列表为首行。 ? 3)mysql中,进,选择txt ? 下一步的行改为2 ? 顺利的话,就会自动对应好所有的列 ? 最关心的,中文字段成功过来了: ?

2.4K100

Greenplum中json

JSON概述 JSON是一种文本方式展示结构化的方式,从产生的时候开始就由于其简单好用、跨平台,特别适合HTTP下的传输(例如现在很流行的REST)而被广泛使用。 Greenplum 5.0开始正式支持了JSON格式的类型,可以在SQL语句中方便的检索和使用JSON结构中的各个关键字。 json Greenplum原生支持了JSON类型,因此有了便捷的方式JSON文件,例子如下: 创建外部表json dy_test=# CREATE EXTERNAL TABLE json_demo 创建内部表插json 利用内置的JSON操作符,通过如下命令即可完成JSON的插 dy_test=# CREATE TABLE json_data (name text, city text); 中JSON,由于Greenplum5.0以上就增加了原生的JSON格式支持,因此可以直对外部的JSON文件进行复杂的解析操作,一步到位的完成的转换和加载。

3412513
  • 广告
    关闭

    90+款云产品免费体验

    提供包括云服务器,云数据库在内的90+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Greenplum链kafka

    15 Greenplum 外工具 1 15.1 安装kafka 1 15.1.1 安装kafka 1 15.1.2 准备kafka的环境 1 15.2 greenplum外表加载kafka 2 15.2.1 准备测试 2 15.2.2 编写加载kafka文件 2 15.2.3 创建库表 3 15.2.4 使用gpkafka命令插 4 15.2.5 查看库保存的偏移量 5 15.2.6 测试复杂量的性能 5 15.2.6.1 测试 5 152.6.2 查看 7 15.3 greenplum到kafka 7 15.3.1 在集群中安装kafka客户端 7 15.3.2 创建写kafka 的外部可写表 7 15.3.3 写到kafka 7 15.3.4 查看kafka 集群中的 8 15 Greenplum 外工具 15.1 安装kafka 15.1.1 安装kafka 安装教程请查看 18228540 s_std_rs_da_map.csv 开始 gpkafka load --quit-at-eof s_std_rs_da_map.yaml *************** 20190410

    91410

    greenplum链kafka写

    --broker-list localhost:9092 --topic test < sample_data.csv 15.2 greenplum外表加载kafka Kafak作为流是比较常用的 ,下来就用greenplum对一下kafka,参考官方资料: https://gpdb.docs.pivotal.io/5180/greenplum-kafka/load-from-kafka-example.html orientation=column, checksum = false,blocksize = 2097152) Distributed by (customer_id) 15.2.4 使用gpkafka命令插 s_std_rs_da_map.csv 开始 gpkafka load --quit-at-eof s_std_rs_da_map.yaml *************** 20190410:18 gpkafkaloadext_41f56d1be64723849329c8b0ed3b8609"') 插测试的效率统计 测试次 量 耗时 效率 第一次 19378077 29.365s ≈668209

    70180

    Hbase

    平时用于从生产环境hbase到到测试环境。 : import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException Bytes.toBytes(key),Bytes.toBytes(map.get(key))); } t.put(put); } } }

    1.5K10

    mysql

    mysql workbench 之前 ? 准备 ? 点击next,可以调整对应的列,以及: ? 最后一直点击next即可 完成 ? 命令行 mysql> load data local infile '.... /test.csv ' fields terminated by ',' lines terminated by '\n'; 命令行 window下 1.出整个库 mysqldump -u -add-drop-table dbname >d:/dbname_db.sql -d 没有 --add-drop-table 在每个create语句之前增加一个drop table 4.库 常用source命令 进mysql库控制台,如 mysql -u root -p mysql>use 库 然后使用source命令,后面参为脚本文件(如这里用到的.sql) mysql>source

    41130

    mysql

    库用mysqldump命令(注意mysql的安装路径,即此命令的路径): 和表结构: mysqldump -u用户名 -p密码 库名 > 库名.sql #/usr/local/ mysql/bin/ mysqldump -uroot -p abc > abc.sql 敲回车后会提示输密码 只出表结构 mysqldump -u用户名 -p密码 -d 库名 > 库名 usr/local/mysql/bin/ mysqldump -uroot -p -d abc > abc.sql 注:/usr/local/mysql/bin/ —-> mysql的data目录 库 首先建空库 mysql>create database abc; 库 方法一: 选择库 mysql>use abc; 设置库编码 mysql>set names utf8; (注意sql文件的路径) mysql>source /home/abc/abc.sql;方法二: mysql -u用户名 -p密码 库名 < 库名.sqlmysql -uabc_f -p abc

    6630

    mongodb

    如: test < path > 指定恢复源目录位置 如: /home/data/test 出单张表 mongoexport -h <dbhost> -d <dbname> -c <collectionname 如: test -c 需要出的表名 如: user -o 出的文件名 如: /home/data/user.json(文件支持多种格式,如txt,wps,xls等) -f 输出的字段 如: “_id, username, password” 单张表 mongoimport -h <dbhost> -d <dbname> -c <collectionname> <file> localhost -d test -c user /home/data/user.json -h 服务器地址 如: 127.0.0.1 也可以指定端口号: 127.0.0.1:27017 -d 需要库名 如: test -c 需要表名 如: user < file > 需要文件地址

    9310

    hive

    create table XXX( ..... )partitioned by(dt string) row format delimited fields terminated by '\t'; 2、

    19820

    Hive

    Hive 创建规则文件 vim /tmp/result.log baidu.com 12 2018-08-12 baidu.com 22 2018-08-12 baidu.com 19 2018 -08-12 baidu.com 10 2018-08-12 hadoop fs -put /tmp/result.log /data/ Hive创建库 # 创建hive库 create database generate_date STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\b' STORED AS TEXTFILE; \b 制表符是文件到 hive表中时一个分割符,也可以填写ascii码 在文件成功到hive中时会把hdfs中文件删除 Hive本地及HDFS # 本地文件 load data local inpath ; # 查询是否正确 select * from t_result; 扩展链 Hive基本概念 Hive批量日志分析 Hive建表格式示例

    48730

    salesforce

    Salesforce的方式有三种: 1.用 首先进 setup image.png 输 "Data import" 进行模糊搜索 image.png 点击下方绿色方框 Launch image.png 选择你要映射的字段方式 , 放CSV image.png 2.使用dataloader 3.使用谷歌插件(这个我就不说了 , 毕竟现在很多人都访问不到谷歌的应用商店 , 因此我们就先学会第一种即可

    35320

    Oracle

    sql表结构 • 用sqlplus命令登录Oracle sqlplus system/password@orcl • 使用@命令sql文件 SQL> @/path/to/file/sample.sql ctl文件 在命令行中,执行 sqlldr userid=username/password control=sample.ctl ---- Previous Oracle库列出所有表 Next 在JBOSS服务器上使用Myfaces的JSF实现

    11050

    MySQL

    MySQL 本章节我们为大家介绍几种简单的 MySQL 出的的命令。 ---- 1、mysql 命令 使用 mysql 命令语法格式为: mysql -u用户名 -p密码 < 要(runoob.sql) 实例: # mysql -uroot ---- 2、source 命令 source 命令库需要先登录到库终端: mysql> create database abc; # 创建库 mysql> use abc; # 备份库 ---- 3、使用 LOAD DATA MySQL 中提供了LOAD DATA INFILE语句来插。 TABLE mytbl (b, c, a); ---- 4、使用 mysqlimport mysqlimport客户端提供了LOAD DATA INFILEQL语句的一个命令行口。

    1.7K30

    HIVE门_3_

    出方式 出到本地文件系统 出到HDFS上 出到HIVE的另一个表中 方式 从本地文件 从HDFS上 创建表后从别的表查询出的相应 创建表的时候通过别的表查询记录插 insert into table test > partition (age='25') > select id, name, tel > from wyp; 方式 从本地文件 从本地文件系统将到HIVE表的过程中,其实是现将临时复制到HDFS下面的一个目录,然后再将从临时目录下移动到对应HIVE表的目录中。 因此,HIVE也支持将从HDFS上的一个目录移动到相应HIVE表的目录中去。 和本地文件系统的区别只是是否有inpath。 load data inpath '/home/wyp/add.txt' into table wyp; 创建表后从别的表查询出的相应 hive> create table test(

    82250

    EXCEL

    IA,IB,IC,ID,IE,IF,IG,IH,II,IJ,IK,IL,IM,IN,IO,IP,IQ,IR,IS,IT,IU,IV  }  ///

     /// 从Excel到 = value;     isLoadMapping = false;    }   }   #endregion   #region 公共方法   ///   /// Rows.Count; i ++ )     {      DataRow excelRow = dsExcel.Tables[m_ExcelSheetName].Rows[i];      //调用处理函 [excelColindex];       }      }      //调用处理,并根返回值决定下一步处理      if (ImportingAfter(ref sqlNewRow EXCEL文件中的工作薄名 SQLTABLE---要库表名 EXCELCOL--EXCEL表中列标头 SQLCOL--SQL库中列名 inherit---当EXCEL中有表格合并时,是否继续上面的单元格值

    16120

    Pentaho Work with Big Data(三)—— Hadoop集群

    HDFS . 从下面的地址下载web日志示例文件,解压缩后的weblogs_rebuild.txt文件放到/home/grid/data-integration/test目录下。 图2 说明:hadoop_local是已经建立好的Hadoop Clusters连,建立过程参考 http://blog.csdn.net/wzy0623/article/details/51086821 Hive . 从下面的地址下载web日志示例文件。 建立一个作业,将文件到hive表中。 (1)执行下面的HSQL建立一个hive表,从图5可以看到,已经在test库中建立了weblogs表,此时表中没有。 图8 从图8可以看到,test.weblogs表中了445454条

    7420

    盈鱼MA丨全渠道对用户

    盈鱼MA自动化营销平台正式通过SDK、实时采集承用户行为源和CSV/API获取后台源等方式,将海量整合库,进行有效的用户行为分析,精准捕捉用户需求。 一、CSV方式 1、选择类型:用户、订单 2、上传本地CSV文件,系统提供CSV模板下载 CSV模板有用户、订单-电商、订单-贷款、订单-基金、订单-保险这5种模板提供下载 列表前面的多选勾选默认全部勾选,如果在此取消勾选某项,则代表该系统。 未匹配的属性:CSV字段名和用户属性字段名不相同,则代表不匹配。并将该字段第一条列出。 二、CSV上传列表 上传后的CSV,也可通过点击【文件名】下载对应CSV,列表展示其日期、类型、处理完成,添加,错误。 如果存在错误,可进行下载错误的操作。 三、 API方式 按照api规则文档,进行传输

    15300

    ——Hive

    本文主要讲述下hive载cli中如何: ? 第一种方式,直从本地文件系统 我的本机有一个test1.txt文件,这个文件中有三列,并且每列都是以'\t'为分隔 [root@localhost conf]# cat /usr 第二种,从hdfs文件中 首先上传到hdfs中 hadoop fs -put /usr/tmp/test1.txt /test1.txt 在hive中查看test1.txt文件 hive> 的命令有些差异: load data inpath '/test1.txt' overwrite into table test2; 第三种,基于查询insert into 首先定义表, string Time taken: 0.071 seconds, Fetched: 9 row(s) 通过查询直到固定的分区表中

    2.5K70

    MongoDB

    出文档 mongoexport -d Vshuo -c post -o D:/post.json -d 库名 -c 集合名词 -o 出的路径 文档 mongoimport --db info  --collection student --drop --file /db.json -db test  想往哪个库里面 --collection restaurants  想往哪个集合中

    22910

    elasticsearch-dump

    elasticsearch-dump 使用nodejs下载 npm install elasticdump 可执行文件在项目根目录下的 .bin 目录中 elasticsearch-dump的使用 --input=http://localhost:9200/jtthink --output=jtthink.json --type=data 就会在当前文件夹生成jtthink.json文件 将索引 elasticdump --input=jtthink.json --output=http://localhost:9200/jtthink --type=data 然后重新删除索引,创建mapping, json,然后执行分词查询。

    37340

    相关产品

    • 专线接入

      专线接入

      专线接入(DC)为您提供了一种便捷的连接企业数据中心与腾讯云的方法 ,您可通过专线接入建立与公网完全隔离的私有连接服务 ,相比公网 ,专线接入具备更安全、更稳定、更低时延、更大带宽等特性。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券