首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >将大量数据加载到弹性搜索中时出错

将大量数据加载到弹性搜索中时出错
EN

Stack Overflow用户
提问于 2016-07-04 01:13:49
回答 1查看 1.9K关注 0票数 0

我在python中使用Elasticsearch。我有熊猫框架中的数据(3列),然后我添加了两列_index和_type,并使用熊猫内置方法将数据转换为json和每条记录。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
data =  data.to_json(orient='records') 

这是我的数据,

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[{"op_key":99140046678,"employee_key":991400459,"Revenue Results":6625.76480192,"_index":"revenueindex","_type":"revenuetype"},     
 {"op_key":99140045489,"employee_key":9914004258,"Revenue Results":6691.05435536,"_index":"revenueindex","_type":"revenuetype"},
......
}]

我的地图是:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
user_mapping =  {
        "settings" : {
            "number_of_shards": 3,
            "number_of_replicas": 2
        },

        'mappings': {
            'revenuetype': {
                'properties': {
                    'op_key':{'type':'string'},
                    'employee_key':{'type':'string'},
                    'Revenue Results':{'type':'float','index':'not_analyzed'},
                }
            }
        }
    }

然后在使用helpers.bulk(es,data)时面临此错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    Traceback (most recent call last):
      File "/Users/adaggula/Documents/workspace/ElSearchPython/sample.py", line 59, in <module>
        res = helpers.bulk(client,data)
      File "/Users/adaggula/workspace/python/pve/lib/python2.7/site-packages/elasticsearch/helpers/__init__.py", line 188, in bulk
        for ok, item in streaming_bulk(client, actions, **kwargs):
      File "/Users/adaggula/workspace/python/pve/lib/python2.7/site-packages/elasticsearch/helpers/__init__.py", line 160, in streaming_bulk
        for result in _process_bulk_chunk(client, bulk_actions, raise_on_exception, raise_on_error, **kwargs):
      File "/Users/adaggula/workspace/python/pve/lib/python2.7/site-packages/elasticsearch/helpers/__init__.py", line 89, in _process_bulk_chunk
        raise e
    elasticsearch.exceptions.RequestError: TransportError(400, u'action_request_validation_exception', u'Validation Failed: 1: index is
 missing;2: type is missing;3: index is missing;4: type is missing;5: index is 
missing;6: ....... type is missing;999: index is missing;1000: type is missing;')

看起来每个json对象都缺少索引和类型。如何克服这一问题?

EN

回答 1

Stack Overflow用户

发布于 2016-07-04 02:10:49

Pandas数据帧到json转换是解决问题的关键。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
data =  data.to_json(orient='records')
data= json.loads(data)
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38180916

复制
相关文章
Taro中如何将store加载到项目中
上面文章我们了解了如何创建store,最后导出时,在函数内部创建了store,所以导出时,函数需要调用,然后通过provicer组件将其注入到项目中。
挥刀北上
2022/05/11
7680
Taro中如何将store加载到项目中
如何修复WordPress中的“建立数据库连接时出错”?
"建立数据库连接时出错",这可能是使用WordPress最常见错误之一,所有使用WordPress建站的用户都可能看到过此消息。不用担心,这是一个非常普遍的问题,有很多解决方法。
晓得博客
2021/05/17
5.4K0
wordpress建立数据库连接时出错
1、表单信息正确无误 2、安全组配置已更改 3、数据库远程连接已开启 4、数据库在3306端口正常运行并可连接 5、本地无法远程连接数据库
李玺
2022/08/03
3.2K0
wordpress建立数据库连接时出错
WordPress 建立数据库连接时出错
WordPress 网站,需要在一个运行PHP 7.4或更高版本;数据库软件可采用MySQL 5.6或更高版本的服务器中才能运行的。
.T.
2022/02/19
5.3K0
WordPress 建立数据库连接时出错
在Windows上安装PHP(将PHP加载到Apache中)
第一步:在 windows.php.net 下载软件包 第二步:解压压缩包,将解压后的目录放到指定目录并重命名 第三步: 创建PHP配置文件,修改Apache配置文件(httpd.conf),将PHP加载到Apache中 1. 在官网下载Windows上用的安装包 ---- https://windows.php.net 2. 解压压缩包,将目录放到指定目录并重命名为 7.0 ---- php-7.0.33-Win32-VC14-x64 —> 7.0 3. 创建PHP配置文件,将以下内容添加到A
很酷的站长
2023/02/17
1.7K0
在Windows上安装PHP(将PHP加载到Apache中)
PostgreSQL数据库导入大量数据时如何优化
来源 | OSCHINA 社区、作者 | PostgreSQLChina 链接:https://my.oschina.net/postgresqlchina/blog/5568852 在使用 PostgreSQL 的时候,我们某些时候会往库里插入大量数据,例如,导入测试数据,导入业务数据等等。本篇文章介绍了在导入大量数据时的一些可供选择的优化手段。可以结合自己的情况进行选择。 一、关闭自动提交 关闭自动提交,并且只在每次 (数据拷贝) 结束的时候做一次提交。 如果允许每个插入都独立地提交,那么 Postg
程序猿DD
2022/08/29
1.6K0
Linux将数据盘挂载到系统盘上的方法
我标记的地方可以看到,我有30GB的空间可以使用,接下来就是把闲置的空间添加到系统盘了。 虽然有30GB闲置空间可以用,但是我们别全部用掉,可以留一点,比如添加个29.98GB,多多少少留点。
会长君
2023/04/24
4K0
Linux将数据盘挂载到系统盘上的方法
/etc/fstab文件_将etc目录挂载到
第一列到六列是设备或分区 挂载点 文件类型 default是挂载类型 dump 系统故障dump内存信息到硬盘 fsck 检查磁盘坏道等
全栈程序员站长
2022/09/20
8900
Linux将数据盘挂载到系统盘上的方法
我标记的地方可以看到,我有30GB的空间可以使用,接下来就是把闲置的空间添加到系统盘了。 虽然有30GB闲置空间可以用,但是我们别全部用掉,可以留一点,比如添加个29.98GB,多多少少留点。
会长君
2021/04/28
6.1K0
mysql longtext 查询_mysql中longtext存在大量数据时,会导致查询很慢?
一个表,1.5w条数据,字段: id,name,content,last_update_time
全栈程序员站长
2022/08/28
4.1K0
Python爬取大量数据时,如何防止IP被封
继续老套路,这两天我爬取了猪八戒上的一些数据 网址是:http://task.zbj.com/t-ppsj/p1s5.html,可能是由于爬取的数据量有点多吧,结果我的IP被封了,需要自己手动来验证解封ip,但这显然阻止了我爬取更多的数据了。
龙哥
2018/10/22
9440
Python爬取大量数据时,如何防止IP被封
从数据类型 varchar 转换为 numeric 时出错。
纠结了好几天了,就是不停的报错,网上说什么有ab什么字符在里面,我百般查找,各种报错
静谧的小码农
2019/01/11
3.1K0
wordpress网站提示“建立数据库连接时出错”
wordpress网站提示“建立数据库连接时出错”这个问题用过wordpress的博主应该都会碰到这个问题。前段时间由于升级了数据库跟PHP版本导致wordpress经常提示数据库出错导致整个服务器都会卡死。服务器内的网站全部打不开!在网上也搜集了很多的关于‘wordpress网站提示“建立数据库连接时出错’同样的问题,但是答案各有差异。最终也没能修复好。
青梅煮码
2023/03/13
2.3K0
wordpress网站提示“建立数据库连接时出错”
SQL Server 2008 附加数据库时出错
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/details/10079741
DannyHoo
2018/09/13
5.9K0
SQL Server 2008 附加数据库时出错
用PHP将图片以流的形式加载到image标签中
  很多情况下,如果为了网站资源案例考虑,我们就不能直接暴露资源的地址到页面中去,以防被人用工具去扫描盗用资源文件下的文件,在这里我们就可以考虑以前端页面请求后端程序,后端程序加以验证之后,以流的方式将资源输出,这样就会安全多了。
Sindsun
2019/12/06
1.7K0
用漫画看懂ElasticSearch弹性搜索(一)
在云计算的Paas层,经常有听到ElasticSearch,我最初的理解,该组件用来进行电商网页的模糊性查找最好了。例如在taobao的搜索栏查找“给爸爸的生日礼物”,也许宝贝的标题是组合出来的,甚至只是宝贝的描述正文带其中一些关键字,也能被搜索出来,推荐给你。这些功能是传统的Mysql Like%功能所不具备的。但我一直一知半解,今天我们用漫画来看懂ElasticSearch,相信会让你长时间难以忘记“她“的好。
希望的田野
2019/09/24
1.5K0
用漫画看懂ElasticSearch弹性搜索(一)
在机器学习中处理大量数据!
知乎 | https://zhuanlan.zhihu.com/p/357361005
Datawhale
2021/03/26
2.3K0
在机器学习中处理大量数据!
如何在JavaScript中处理大量数据
在几年之前,开发人员不会去考虑在服务端之外处理大量的数据。现在这种观念已经改变了,很多Ajax程序需要在客户端和服务器端传输大量的数据。此外,更新DOM节点的处理在浏览器端来看也是一个很耗时的工作。而且,需要对这些信息进行分析处理的时候也很可能导致程序无响应,浏览器抛出错误。 将需要大量处理数据的过程分割成很多小段,然后通过JavaScript的计时器来分别执行,就可以防止浏览器假死。先看看怎么开始: function ProcessArray(data,handler,callback){ Process
CSDN技术头条
2018/02/09
3K0
WordPress 建立数据库连接时出错解决方法
周末外出和朋友一起钓鱼去了,晚上回来准备在自己的米扑博客(http://blog.mimvp.com)写一篇钓鱼游记,打开电脑结果发现博客网站打不开了,提示”建立数据库连接时出错“
阳光岛主
2019/02/18
3.2K0
WordPress 建立数据库连接时出错解决方法
点击加载更多

相似问题

将大量数据索引到弹性搜索中

21

将数据上传到弹性搜索时出错

14

将数据发送到弹性搜索时出错

15

将数据从pig加载到弹性搜索

20

将数据从sql server加载到弹性搜索。

13
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文