因为查询里使用了 = 运算符，所以子查询里只会返回单一值，特定行和列的交叉点，这一个值将是WHERE子句中比对数据列的条件。
这里导出两个sheet为例进行讲解，第一个sheet导出学生基本信息，表结构和数据参考上一章节，第二个sheet导出区域基本信息，具体数据和脚本如下
作为网优工程师，你是否也曾奢望手里有一份全国手机号码归属地对应表？学习Python后，我的这一梦想可以实现了。
在数据仓库环境中，我们通常利用物化视图强大的查询重写功能来提升统计查询的性能，但是物化视图的查询重写功能有时候无法智能地判断查询中一些相关联的条件，以至于影响性能。比如我们有一张销售表sales，用于存储订单的详细信息，包含交易日期、顾客编号和销售量。我们创建一张物化视图，按月存储累计销量信息，假如这时候我们要查询按季度或者按年度统计销量信息，Oracle是否能够智能地转换查询重写呢？我们知道交易日期中的日期意味着月，月意味着所处的季度，季度意味着年度，但是Oracle却是无法智能地判断这其中的关系，因此无法利用物化视图查询重写来返回我们季度或年度的销量信息，而是直接查询基表，导致性能产生问题。
在完成登录到用户提交订单，这一系列的类视图函数，会发现有大量的数据读写操作，像电商这类的项目，更多的是用户在浏览页面的次数比较多，所以在数据查询的场景中都会采用缓存，将用户第一次打开页面，到下一次重新浏览，这其间就可以提升用户打开页面的速度。
固定列zip_code，组合factory，warehouse，retail 三个列名为一个维度，按照这种方法凑齐两个维度后，数据一定变长。
在大数据时代中我们迫切需要实时应用解决源源不断涌入的数据，然而建立这么一个应用需要解决多个问题：
（五）进阶技术 14. 维度合并 随着数据仓库中维度的增加，会发现有些通用的数据存在于多个维度中。例如，客户维度的客户邮编相关信息、送货邮编相关信息和工厂维度里都有邮编、城市和州。本篇说明如何把三个维度里的邮编相关信息合并到一个新的邮编维度。 修改数据仓库模式 为了合并维度，需要改变数据仓库模式。图（五）- 14-1显示了修改后的模式。新增了一个zip_code_dim表，sales_order_fact和production_fact表的结构也做了相应的修改。注意图中只显示了与邮编维度相关的表。
在Apache Spark文章系列的前一篇文章中，我们学习了什么是Apache Spark框架，以及如何用该框架帮助组织处理大数据处理分析的需求。 Spark SQL，作为Apache Spark大数据框架的一部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL，可以针对不同格式的数据执行ETL操作（如JSON，Parquet，数据库）然后完成特定的查询操作。 在这一文章系列的第二篇中，我们将讨论Spark SQL库，如何使用Spark SQL库对存储在批处理文件、JSO
通过这个网址可以下载安装指定的es版本，首先安装es5.3.0，然后再升级到5.5.3
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。
日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析，比如接口的调用次数、执行时间、成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力 日志数据分散在多个系统，难以查找 日志数据量大，查询速度慢 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源Trace系
营销增益模型（Uplift）是用户转化分析中常用的模型，今天的文章基于营销数据利用Python进行实战识别营销敏感客户群体，以在实际营销活动中降低企业成本。
OpenObserve 是一个 Rust 开发的开源的高性能云原生可观测平台（日志、指标、追踪），比起 Elasticsearch 它大约可以节省 140 倍的存储成本，OpenObserve 能够处理 PB 级的数据，如果你正在寻找一个用于日志、指标、追踪的可观测工具，那么 OpenObserve 是非常值得尝试的。OpenObserve 虽然目前处于 alpha 阶段，但其实也进行了广泛的测试。
很多Django的包都能很大的增加我们的开发效率或者增加我们项目的功能， 比如: django-rest-framework 、wagtail, 它们带来了很棒的功能. 但是今天我想推荐一些其他的包， 更有爱的包.
实证研究过程中，少不了地址数据的清理。比如为数据匹配省市信息、从大段文本中提取地址、从电话号码、身份证等信息中提取地址。面对这些清理工作，你有什么思路吗？其实在 Python 中有一些库可以很方便的来解决这些问题，今天为大家介绍一些用于地址数据清理的库。全篇分为两部分：第一部分为地址提取，介绍如何从大段文本、手机号和身份证号中提取地址；第二部分为地址匹配，介绍如何匹配省市区。
在如何开发自己的搜索帝国之Elasticsearch中已经介绍安装好了ES，下面就Kibana对ES的查询监控作介绍，就是常提到的大数据日志处理组件ELK里的K。 什么是Kibana?现引用园
本文讲述，如何理解Elasticsearch的分片、副本和路由策略。 1、预备知识 1）分片（shard） Elasticsearch集群允许系统存储的数据量超过单机容量，实现这一目标引入分片策略shard。在一个索引index中，数据（document）被分片处理（sharding）到多个分片上。Elasticsearch屏蔽了管理分片的复杂性，使得多个分片呈现出一个大索引的样子。 2）副本（replica） 为了提升访问压力过大是单机无法处理所有请求的问题，Elasticsearch集群引入了副本策略r
Elasticsearch的查询语言(DSL)真是不好写，偏偏查询的功能千奇百怪，filter/query/match/agg/geo各种各样，不管你是通过封装JSON还是通过python/java的api进行封装，都非常不方便。 最近发现了一个插件，Elasticsearch-SQL可以用sql查询Elasticsearch，感觉这个轮子造的真是好。 Elasticsearch-sql的项目地址：https://github.com/NLPchina/elasticsearch-sql 1、简介 Elas
Elasticsearch的查询语言(DSL)真是不好写，偏偏查询的功能千奇百怪，filter/query/match/agg/geo各种各样，不管你是通过封装JSON还是通过python/java的api进行封装，都非常不方便。
Elasticsearch 支持多种存储库的配置，如 S3、Azure、Google Cloud Storage 和 HDFS 等，具体可参阅「Snapshot And Restore」。在此，我们仅详述如何配置 HDFS 存储库以及利用 HDFS 进行快照和还原的方法。
一个 tokenizer（分词器）接收一个字符流，将之分割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens 流。
在学习Elasticsearch的过程中，必不可少需要通过一些工具查看es的运行状态以及数据。如果都是通过rest请求，未免太过麻烦，而且也不够人性化。 此时，head可以完美的帮助你快速学习和使用es。 Head插件可以实现基本信息的查看，rest请求的模拟，数据的检索等等。 安装 在网络畅通的情况下（需要能访问github），可以直接通过plugin进行安装。即在es的bin目录下运行： F:\software\elasticsearch-2.2.1\bin>plugin.bat install
ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具，可以对集群进行傻瓜式操作。
在 response 包下，新建两个类，分别是 ResultCode(interface), ResponseResult.java：
另外对于入门小白，我强烈推荐这篇Elasticsearch搭建教程给你，小白会碰到的坑，这里都已经写了答案。
Interesting things What did you do today 先入为主 ElasticSearch Head是什么? ElasticSearch Head是集群管理、数据可视化、
摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载，保留摘要，谢谢！
解决1:如果发现es启动到一半自动停止,有效解决办法,增加内存4G以上,和增加处理器为2即可解决
推荐系统是机器学习当前最著名、最广泛使用，且已经证明价值的落地案例。尽管有许多资源可用作训练推荐模型的基础，但解释如何实际部署这些模型来创建大型推荐系统的资源仍然相对较少。
在开发项目时，因为有一些旧系统的基础数据需要提前导入，所以我在导入时做了批量导入操作 ,但是因为MySQL中的一次可接受的SQL语句大小受限制所以我每次批量虽然只有500条，但依然无法插入，这个时候代码报错如下：
想查数据就免不了搜索，搜索就离不开搜索引擎，百度、谷歌都是一个非常庞大复杂的搜索引擎，他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，肯定就没必要用这么复杂的技术了，如果我们想实现自己的搜索引擎，方便存储和检索，Elasticsearch 就是不二选择，它是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。
term 查询， 可以用它处理数字（numbers）、布尔值（Booleans）、日期（dates）以及文本（text，不推荐）。
简述 ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana 这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。 X-Pack X-Pack Elastic Stack X-Pack是一个Elastic Stack的扩展，将安全，警报，监视，报告和图形功能包含在一个易于安装的软件包中 搭建集群 1.X-Pack 安装 https://www.elastic.co/guide/en/x-pack/current/index.h
grunt是基于Node.js的项目构建工具，可以进行打包压缩、测试、执行等等的工作，head插件就是通过grunt启动
groupby 是pandas 中非常重要的一个函数, 主要用于数据聚合和分类计算. 其思想是“split-apply-combine”（拆分 - 应用 - 合并）. 拆分：groupby，按照某个属性column分组，得到的是一个分组之后的对象 应用：对上面的对象使用某个函数，可以是自带的也可以是自己写的函数，通过apply(function) 合并：最终结果是个S型数据 pandas分组和聚合详解 官方文档 DataFrame.``groupby(self, by=None, axis=0,
hive 表写入数据的方式 少量数据 insert into create table dw.dim_area_code ( country_name string comment "国家名称", country_code string comment "国家代码", province_name string comment "省份名称", city_name string comment "地级市", city_area_code string comment "城市代码", city_zip_c
前端时间利用ES开发一个"附近地理位置+其它信息"查询搜索的功能(据了解，Redis和PostgreSQL也能实现同样的功能)，实践中遇到了不少的问题，所以通过这篇文章记录下踩填坑过程。
elasticsearch-7.0.1/server/src/main/java/org/elasticsearch/common/util/concurrent/AtomicArray.java
Elasticsearch是一个分布式，RESTful模式的高速搜索引擎，它使用标准的RESTful APIs和JSON，同时提供支持如java,python,php等的多种语言。下文将Elasticsearch简称ES。
根据错误信息，可以发现问题是 FilterForm 是一个绑定表单，需要有一个模型实例作为上下文。在测试用例中，没有为 FilterForm 设置模型实例。
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.0/elasticsearch-analysis-ik-7.7.0.zip 将IK分词器上传到/tmp目录中（xftp）
原文：https://github.com/zedr/clean-code-python
x-pack-5.6.0.zip 先提前下载好zip安装包丢到/root目录下，这样离线安装起来比较快。
在github上下载和es版本匹配的ik中文分词器 https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.10.0
【导读】今天向大家介绍下ElasticSearch在专知搜索中的使用。ElasticSearch是一个基于Lucene的搜索服务器，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们利用ES对专知的AI内容库进行了索引，用户可以快速找到所需AI知识资源。下面由我们专知团队后台支柱李泳锡同学向大家分享下。 ElasticSearch简介 Elasticsearch（以下简称ES）是一个基于Apache Lucene的实时分布式搜索分析引擎，它能够让你以极低的
领取专属 10元无门槛券
手把手带您无忧上云
