首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

使用shell脚本导出MySql查询数据到EXCEL中

经常会踫到这样场景需求:自定义时间从MySql流水月中SELECT出来数据到excel报表文件中,所以自己写了这个shell脚本来处理。...由于linux默认是uft-8格式,所以在使用awk命令处理完txt文件后,通过iconv命令把utf8文件转换成最终gbk文件。...2 脚本代码 鉴于数据量比较大,我们shell脚本需要考虑MySQL执行INSERT效率,所以采用了对次数取模拼接多个VALUES值来实现。.../bin/bash # FileName: exportmysqlshell1.sh # Description: 使用shell脚本导出MySql月数据到EXCEL中 # Simple...Github了,地址是https://github.com/vfhky/shell-tools,以后脚本更新或者更多好用脚本也都会加入到这个工程中。

31610

使用Shell脚本遍历子目录下所有文件方法

最近博客进行了搬家,CDN源发生改变,想着在CDN上将博客所有图片刷新预热一遍,那么问题来了,刷新预热需要得到所有图片地址,于是直接使用Shell脚本递归遍历wp-content/uploads目录先得到图片文件路径...创建Shell脚本 使用vi编辑器,先创建一个vi traveDir.sh文件,复制下面的脚本代码: #!...chmod +x traveDir.sh 使用方法 上一个步骤已将脚本创建完毕,接下来只需要执行....11/snipaste_20191110_102750.png这个样子,直接使用文本工具,将/data/wwwroot/xiaoz.me/批量替换为您自己域名,然后将URL提交到CDN服务商进行刷新预热...总结 脚本批量导出文件路径 文本工具将站点根目录批量替换为自己域名 提交URL刷新 脚本比较简单,网上一搜一大把,此文参考了:使用Shell遍历目录及其子目录中所有文件方法

1.5K20

8种主流NoSQL数据库对比

目前Google BigTable 和Amazon Dynamo使用就是NoSQL型数据库。 但是NoSQL数据库之间不同,远超过两 SQL数据库之间差别。...CouchDB 所用语言: Erlang 特点:DB一致性,易于使用 使用许可: Apache 协议: HTTP/REST 双向数据复制 持续进行或临时处理 处理时带冲突检查 因此,采用是master-master...”两个版本 全文本搜索,索引,通过 Riak搜索服务器查询( beta版) 支持Masterless多站点复制及商业许可 SNMP监控 最佳应用场景:适用于想使用类似 Cassandra(类似Dynamo...支持 Groovy脚本 支持在线备份,高级监控及高可靠性支持使用 AGPL/商业许可 最佳应用场景:适用于图形一类数据。...例如: Facebook消息数据库(更多通用用例即将出现) Thrift 是一种接口定义语言,为多种其他语言提供定义和创建服务,由Facebook开发并开源。

23.3K40

8种主流NoSQL数据库对比

目前Google BigTable 和Amazon Dynamo使用就是NoSQL型数据库。 但是NoSQL数据库之间不同,远超过两 SQL数据库之间差别。...特点:DB一致性,易于使用 3. 使用许可: Apache 4. 协议: HTTP/REST 5. 双向数据复制 6. 持续进行或临时处理 7. 处理时带冲突检查 8....支持Masterless多站点复制及商业许可 SNMP监控 最佳应用场景:适用于想使用类似 Cassandra(类似Dynamo)数据库但无法处理 bloat及复杂性情况。...使用 Gremlin图形遍历语言 13. 支持 Groovy脚本 14. 支持在线备份,高级监控及高可靠性支持使用 AGPL/商业许可 最佳应用场景:适用于图形一类数据。...基于 Jruby( JIRB)shell 13. 对配置改变和较小升级都会重新回滚 14. 不会出现单点故障 15.

1.5K20

带你认识 flask 中数据库

ORM允许应用程序使用高级实体(如类,对象和方法)而不是和SQL来管理数据库。ORM工作就是将高级操作转换成数据库命令。...第一次数据库迁移 包含映射到User数据库模型用户迁移存储库生成后,是时候创建第一次数据库迁移了。有两种方法创建数据库迁移:手动或自动。...Alembic通过使用降级方法可以将数据库迁移到历史中任何点,甚至迁移到较旧版本。 flask db migrate命令不会对数据库进行任何更改,只会生成迁移脚本。...Alembic将检测到生产数据库未更新到最新版本,并运行在上一版本之后创建所有新增迁移脚本。 正如我前面提到,flask db downgrade命令可以回滚上次迁移。...考虑用户发表动态情况, 用户将在user中有一个记录,并且这条用户动态将在post中有一个记录。标记谁写了一个给定动态最有效方法是链接两个相关记录。

2.3K20

主流NoSQL和应用场景详解

目前Google BigTable 和Amazon Dynamo使用就是NoSQL型数据库。参见NoSQL词条。) 1....CouchDB 所用语言:Erlang 特点:DB一致性,易于使用 使用许可:Apache 协议:HTTP/REST 双向数据复制, 持续进行或临时处理, 处理时带冲突检查, 因此,采用是master-master...”两个版本 全文本搜索,索引,通过 Riak搜索服务器查询( beta版) 支持Masterless多站点复制及商业许可 SNMP监控 最佳应用场景 适用于想使用类似 Cassandra(类似Dynamo...Groovy脚本 支持在线备份,高级监控及高可靠性支持使用 AGPL/商业许可 最佳应用场景 适用于图形一类数据。...source and sink modules 基于 Jruby( JIRB)shell 对配置改变和较小升级都会重新回滚 不会出现单点故障 堪比MySQL随机访问性能 最佳应用场景 适用于偏好

1.1K20

如何修改MySQL数据库名称

方法一:先导出数据,再导入数据 当数据库体积比较小时,最快方法使用mysqldump命令来创建整个数据库转存副本,然后新建数据库,再把副本导入到新数据库中。...-uroot -p123456 new_db < /tmp/old_db.sql 方法二:通过修改名称,间接实现修改数据库名称 使用方法实际上将所有从一个数据库移动到另一个数据库,这实际上重命名了该数据库...new_db; 2.2 使用RENAME TABLE命令修改名,将移动到新库里: rename table old_db.tb to new_db.tb; 2.3 完成后删除旧库: drop database...old_db; 2.4 如何使用shell脚本来批量修改名: 当库下表比较多时候,用上面方法纯手动也不现实,好在linux下可以用shell脚本来批处理。...附上一个shell脚本批量修改名称。 #!

17.7K10

Flask-SQLAlchemy学习笔记

# 可以通过如下方法进入: # $env:FLASK_APP="sql_test.py" # flask shell # 创建,进入flask shell后,创建后,会在当前目录下生成一个数据库文件...(***.sqlite) # from sql_test import app_db # app_db.create_all() # 创建 # app_db.drop_all() # 删除...,然后在提交才会真正在数据库中修改 # 查询: # 使用query对象中all()方法查询查询相应中所有记录:Role.query.all(),这里all()是返回所有的结果,还有一个是first...migrate = Migrate(app,db) # 初始化命令:该命令会在当前目录下创建migrations目录,所以迁移脚本都会存放在这里 flask db init # 自动创建迁移脚本,有时候自动创建迁移脚本是不一定能准确生成...,所以生成脚本后,记得一定要检查一下是否正确 flsk db migrate -m "initial migrate" # 更新数据库 flask db upgrade # 更多关于该拓展使用细节,

1.7K20

MySQL审计

线上数据库,开发可以直接navicat软件直接操作。一旦发生数据泄露,后果严重。需要禁止使用navicat,使用命令行操作,并且能记录每个开发执行SQL语句。...在跳板机上面写了一个shell脚本,开发只能通过执行shell脚本,来连接数据库 环境如下: 跳板机-->centos7-->192.168.78.133 MySQL-->centos6.5-->192.168.78.128...php array_shift($argv); $str=implode(' ',$argv); $sql=json_encode($str); echo $sql; 编辑shell脚本 vim /opt...= "" ]];then                 #增加显示返回行数和执行时间,select语句使用FOUND_ROWS()方法显示返回行数,timestampdiff返回2个时间差值                 ...= "exit" ]]     do          query     done fi 执行shell脚本,执行sql语句 ?

1.8K10

【项目实战】ETL 数据导入

操作说明 数据已经在 MySQL 中生成,接下来就开始进行数据仓库搭建环节。首先最重要,也是首要流程便是 ETL。这个阶段,因为是对结构化数据进行抽取,所以直接使用 Sqoop 工具即可。...Sqoop 工具被安装到了 Node03 中,所以在 Node03 中编写脚本调用 Sqoop 进行数据抽取;而脚本编写也有助于之后自动化执行。 操作流程 1....进入 Sqoop 安装节点,即 Node03,创建 /home/warehouse/shell 目录: mkdir -p /home/warehouse/shell 2....编写 Sqoop 数据导入脚本,对不同采用了较为不同方法脚本材料如下: cd /home/warehouse/shell vim sqoop_import.sh # 添加内容 #!.../bin/bash db_date=$2 echo $db_date db_name=mall import_data() { sqoop import \ --connect jdbc:mysql

69220

你不得不知道 4 款 MySQL GUI 神器

此外,许多数据库管理员在使用数据库时面临着以下任务挑战: 对象管理和自动化 数据分析 创建和执行查询 开发和调试存储过程 MySQL Shell使用上对新手而言可能不太友好,即使是最基本组件(如...用户可以使用文本字段和文件来执行 SQL 命令;还可以创建新数据库、导出数据结构、终止进程以及在用户权限旁边显示用户。 最佳使用场景 Adminer 强调了两个看似矛盾点:简单性和可定制性。...Beekeeper 还提供以下功能: 支持在一个统一窗口内包含多个并发标签 快速保存和组织常见 SQL 查询 快速简便地修改数据,并能在以后阶段性地进行修改 使用 GUI 直接创建、编辑和删除表列...功能和 MySQL 支持 在宏观层面,CloudBeaver 为用户提供数据编辑器、数据导出、实体图、SQL 编辑器、AWS 和 Docker 集成(RDS、Redshift、Dynamo DB、Docker...最后,执行计划功能会在结果选项卡中生成查询执行树,并评估脚本和查询是否设计为在其现有格式下以最佳方式工作。 最佳使用场景 CloudBeaver 适合喜欢云端集成用户。

1.3K41

第7章、备份与恢复

shell> mysqldump --databases db1 db2 db3 > dump.sql 当使用--all-databases或--databases选项时,在具体数据库导出之前会添加CREATE...如果仅想导出指定数据库中指定数据,可以这样做: shell> mysqldump test t1 t3 t7 > dump.sql 用mysqldump以分隔文本格式转储数据 若你使用mysqldump...并且每张将会有两份文件,比如数据库名称是t1,则对应输出文件为t1.sql与t1.txt。*.txt存放数据,一行一条数据。...# 不使用 --databases 是避免CREATE 语句导致导入到db2会失败 shell> mysqldump db1 > dump.sql shell> mysqladmin create db2....* 约定以mysql服务器host为文件夹,每个host下备份只有该host下备份。 logs 目录存放备份过程日志。 shell 目录下则是备份脚本。 ? 设置备份目录 4.

82020

使用shell 批量更改 mysql字符集

解决这个问题有两种方法: 一、参考《为什么Docker创建mysql容器字符乱码?》这篇文章,重来一遍并选择正确字符集。...二、修改配置文件设置utf8字符集,对已经存在数据,使用alter语句修改数据字符集。 这里采用第二种方式,不过数据库内数据较多,我们使用shell脚本批量完成这个工作。...cat tables.txt attachments workflows # 省略.... 2. shell脚本 cat convert_mysql_charset.sh...6)创建一张默认字符集被设定为 character_set_database,也就是这个数据库默认字符集。 7)添加字段,除非明确指定,否则缺省字符集就是默认字符集; 2....对于已经保存在mysql数据库数据,可以使用shell脚本+alter语句批量更改字符集。 欢迎关注微信公众号: 运维录

1.8K10

FaaS 简单实践

例如,我们可以创建一个名为"post"资源,它路径是"/posts",它有两种方法: GET — fetch all posts 把所有的帖子都拿来 POST — create...这个资源将在路径(post ID)中有一个参数,可以通过将参数名包装为"/posts / { post ID }"括号来实现。创建资源后,将GET、 PUT 和DELETE 方法添加到其中。...API 现在看起来是这样: ? 每个方法将执行相应AWS Lambda 函数。先创建这些函数,然后将它们映射到适当API 方法。...为了实现这个概念,可以使用AWS云功能。 例如,创建实时报告遥测数据设备模拟器,并通过 API 实时访问这些信息。 AWS IoT 平台是一个强大物联网框架。...DynamoDB 不是存储原始时间序列数据最佳选择。

3.6K20
领券