开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在tensorflow 2.x上训练大型数据集

问如何在tensorflow 2.x上训练大型数据集
EN

Stack Overflow用户

提问于 2020-06-29 06:36:31

回答 1查看 750关注 0票数 1

我有一个大约有2M行和6000列的大型数据集。输入的numpy数组(X，y)可以很好地保存训练数据。但是当它转到model.fit()时，我得到了一个GPU内存不足的错误。我使用的是tensorflow 2.2。根据它的手册，model.fit_generator已经被弃用，而model.fit是首选。

有人能概述一下使用tensorflow v2.2训练大型数据集的步骤吗？

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-06-29 06:44:18

最好的解决方案是使用tf.data.Dataset()，因此您可以使用.batch()方法轻松地对数据进行批处理。

这里有很多教程，你可能想要使用from_tensor_slices()直接使用numpy数组。

下面有两个很好的文档来满足你的需求。

https://www.tensorflow.org/tutorials/load_data/numpy

https://www.tensorflow.org/guide/data

票数 2

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/62632485

复制

相关文章

Spring Kafka：@KafkaListener 单条或批量处理消息

来源：csdn.net/ldw201510803006/article/details/116176711 消息监听容器 1、KafkaMessageListenerContainer 由spring提供用于监听以及拉取消息，并将这些消息按指定格式转换后交给由@KafkaListener注解的方法处理，相当于一个消费者；看看其整体代码结构：图片可以发现其入口方法为doStart(), 往上追溯到实现了SmartLifecycle接口，很明显，由spring管理其start和stop操作； Liste

程序猿DD

2022/05/05

2.3K0

Spring Kafka：@KafkaListener 单条或批量处理消息

Spring Kafka 之 @KafkaListener 单条或批量处理消息

来源：https://blog.csdn.net/ldw201510803006/article/details/116176711 消息监听容器 1、KafkaMessageListenerContainer 由spring提供用于监听以及拉取消息，并将这些消息按指定格式转换后交给由@KafkaListener注解的方法处理，相当于一个消费者；看看其整体代码结构：可以发现其入口方法为doStart(), 往上追溯到实现了SmartLifecycle接口，很明显，由spring管理其start和sto

程序猿DD

2022/06/09

1K0

Spring Kafka 之 @KafkaListener 单条或批量处理消息

Apache Kafka-Spring Kafka生产消费@KafkaListener源码解析

KafkaBootstrapConfiguration的主要功能是创建两个bean

小小工匠

2021/08/17

8210

Apache Kafka-Spring Kafka生产消费@KafkaListener源码解析

使用storm trident消费kafka消息

storm通过保证数据至少被处理一次来保证数据的完整性,由于元祖可以重发,对于一些需要数据精确的场景,可以考虑用storm trident实现。传统的事物型拓扑中存在几种bolt： 1.1 BasicBolt 这是最基本的Bolt,BasicBolt每次只能处理一个tuple,而且必须等前一个tuple成功处理后下一个tuple才能继续处理,显然效率不高。 1.2 BatchBolt storm的一个优势就是能够批量处理tuple,BatchBolt支持批量处理tuple,每一个batch中的t

Albert陈凯

2018/04/04

9230

【spring-kafka】@KafkaListener详解与使用

属性concurrency将会从容器中获取listen.concurrency的值,如果不存在就默认用3

全栈程序员站长

2022/11/04

2K0

【spring-kafka】@KafkaListener详解与使用

属性concurrency将会从容器中获取listen.concurrency的值,如果不存在就默认用3

石臻臻的杂货铺[同名公众号]

2021/07/14

22K1

Flink消费kafka消息实战

kafka http apache 容器镜像服务 https

构建kafka相关的环境不是本文重点，因此这里利用docker快速实现，步骤如下：

程序员欣宸

2019/05/29

5.2K0

Flink消费kafka消息实战

查看kafka消息消费情况

.net node.js kafka https 网络安全

消息堆积是消费滞后(Lag)的一种表现形式，消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量，也称之为消费滞后(Lag)量。对于Kafka而言，消息被发送至Topic中，而Topic又分成了多个分区(Partition)，每一个Partition都有一个预写式的日志文件，虽然Partition可以继续细分为若干个段文件(Segment)，但是对于上层应用来说可以将Partition看成最小的存储单元(一个由多个Segment文件拼接的“巨型文件”)。每个Partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到Partition中。我们来看下图，其就是Partition的一个真实写照：

chenchenchen

2022/05/07

2.5K0

Kafka 消息的生产消费方式

主要内容： 1. kafka 整体结构 2. 消息的生产方式 3. 消息的读取方式整体结构在 kafka 中创建 topic（主题），producer（生产者）向 topic 写入消息，consu

dys

2018/04/04

1.3K0

Kafka 消息的生产消费方式

从M走到N最少步数

假设一个人站在 X 轴的正半轴上，起始点在 M 点（0 <= M <= 100000），他每次可以向左走一步，向右走一步，或者走到所在坐标乘以2的位置，最终来到 N 点（0 <= N <= 100000）。问：所需的最少步数是几步？（如果不能从 M 走到 N 点，则返回 -1）

echobingo

2018/10/10

8160

SpringBoot集成kafka全面实战「建议收藏」

kafka node.js spring

本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。

全栈程序员站长

2022/07/01

5.4K1

SpringBoot集成kafka全面实战「建议收藏」

Kafka消费者之如何进行消息消费

java unix kafka

放弃不难，但坚持很酷~由于消费者模块的知识涉及太多，所以决定先按模块来整理知识，最后再进行知识模块汇总。

create17

2019/07/16

3.7K0

Spring Boot 中使用@KafkaListener并发批量接收消息[通俗易懂]

https html spring 网络安全

kakfa是我们在项目开发中经常使用的消息中间件。由于它的写性能非常高，因此，经常会碰到读取Kafka消息队列时拥堵的情况。遇到这种情况时，有时我们不能直接清理整个topic，因为还有别的服务正在使用该topic。因此只能额外启动一个相同名称的consumer-group来加快消息消费（如果该topic只有一个分区，再启动一个新的消费者，没有作用）。

全栈程序员站长

2022/11/04

4.6K0

Spring Boot 中使用@KafkaListener并发批量接收消息[通俗易懂]

消息队列之kafka的重复消费

Kafka 是对分区进行读写的，对于每一个分区的消费，都有一个 offset 代表消息的写入分区时的位置，consumer 消费了数据之后，每隔一段时间，会把自己消费过的消息的 offset 提交一下。表示已记录当当前的消费位置，从这里开始消费。

conanma

2022/04/11

1K0

kafka topicPartitions问题

https java 网络安全

当我实现三个消费者去同时消费一个Topic(默认没有分区)消息时,三个消费者同时消费到了同样的消息

全栈程序员站长

2022/09/13

3080

集成到ACK、消息重试、死信队列

api spring kafka partition server

kafka 是一个消息队列产品，基于 Topic partitions 的设计，能达到非常高的消息发送处理性能。Spring 创建了一个项目 Spring-kafka，封装了 Apache 的 Kafka-client，用于在 Spring 项目里快速集成 kafka。除了简单的收发消息外，Spring-kafka 还提供了很多高级功能，下面我们就来一一探秘这些用法。

用户4283147

2022/10/27

3.5K0

SpringBoot 整合 Spring-Kafka 深度探秘，踩坑实战

kafka spring spring boot

kafka是一个消息队列产品，基于Topic partitions的设计，能达到非常高的消息发送处理性能。Spring创建了一个项目Spring-kafka，封装了Apache 的Kafka-client，用于在Spring项目里快速集成kafka。除了简单的收发消息外，Spring-kafka还提供了很多高级功能，下面我们就来一一探秘这些用法。

搜云库技术团队

2019/11/21

4.2K0

实战：彻底搞定 SpringBoot 整合 Kafka（spring-kafka深入探秘）

kafka spring spring boot

kafka是一个消息队列产品，基于Topic partitions的设计，能达到非常高的消息发送处理性能。Spring创建了一个项目Spring-kafka，封装了Apache 的Kafka-client，用于在Spring项目里快速集成kafka。

Java团长

2019/11/21

51.9K1

Spring Boot Kafka概览、配置及优雅地实现发布订阅

容器 kafka https 网络安全 spring

本文属于翻译，转载注明出处，欢迎关注微信小程序小白AI博客微信公众号小白AI或者网站 https://xiaobaiai.net

别打名名

2019/12/24

15.8K0

Spring Boot Kafka概览、配置及优雅地实现发布订阅

Spring Boot 集成 Kafka

api kafka spring spring boot 消息队列 CMQ 版

消息通信有两种基本模型，即发布-订阅（Pub-Sub）模型和点对点（Point to Point）模型，发布-订阅支持生产者消费者之间的一对多关系，而点对点模型中有且仅有一个消费者。

微观技术

2021/04/19

2.6K0

Spring Boot 集成 Kafka

相似问题

使用@KafkaListener勇敢追踪Kafka消费者

12

从特定主题中检索Kafka消费者的最近n条消息

10

Kafka不消费消息

130

如何不用@kafkalistener手动确认kafka消息

12

使用轮询方式消费Kafka消息

19

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例