如何解决使用tf.data.Dataset时出现的OOM错误？
当使用tf.data.Dataset时出现OOM（Out of Memory）错误时，可以采取以下几种方法来解决：
- 减少Batch Size：减小每个batch的样本数量，从而减少内存占用。可以通过调整batch_size参数来实现。
- 使用更小的模型：减小模型的参数量和复杂度，可以减少内存的使用。可以通过减少网络层数、减少每层的神经元数量或使用轻量级模型来实现。
- 使用更小的图像尺寸：如果输入数据是图像，可以将图像尺寸缩小，从而减少内存占用。可以通过调整图像的大小或使用图像压缩算法来实现。
- 使用数据预处理：在加载数据之前，对数据进行预处理，如裁剪、缩放、旋转等操作，从而减少内存占用。
- 使用tf.data.experimental.prefetch_to_device函数：该函数可以将数据预取到指定的设备上，减少CPU和GPU之间的数据传输，提高数据加载效率。
- 使用tf.data.experimental.parallel_interleave函数：该函数可以并行地从多个文件中读取数据，提高数据加载速度。
- 使用tf.data.Dataset.cache函数：该函数可以将数据缓存到内存或磁盘中，避免重复加载数据。
- 使用tf.data.Dataset.shard函数：该函数可以将数据集分成多个部分，每个部分在不同的设备上进行处理，从而减少内存占用。
- 使用tf.data.Dataset.repeat函数：该函数可以重复使用数据集，从而减少内存占用。
- 使用tf.data.Dataset.map函数：该函数可以对数据集进行映射操作，如数据增强、特征提取等，从而减少内存占用。
推荐的腾讯云相关产品：腾讯云AI智能图像处理（https://cloud.tencent.com/product/tiip）、腾讯云AI智能视频分析（https://cloud.tencent.com/product/tvia）、腾讯云云服务器（https://cloud.tencent.com/product/cvm）、腾讯云云数据库MySQL版（https://cloud.tencent.com/product/cdb_mysql）、腾讯云对象存储（https://cloud.tencent.com/product/cos）。
请注意，以上答案仅供参考，具体解决方法需要根据具体情况进行调整和优化。
相关·内容
当我试图在tf.data.Dataset管道中裁剪一批图像时，会出现以下错误：
InvalidArgumentError:输入形状轴0必须等于4，得到形状5{节点裁剪__边界_框/未堆栈}}] Op:IteratorGetNext
def crop(img_batch, label_batch):
#cropped_image = img_batch
cropped_image = tf.image.crop_to_bounding_box(img_batch, 0, 0, 100, 100)
return cropped_image, label_batch
浏览 2提问于2021-06-09得票数 1
我正在读取一个.opml文件并对其进行解析，以便为我订阅的每个rss feed生成一个文章列表，从而将其添加到这个.opml文件中。
有时，当在Visual Studio上按play (运行)时，我得到一个错误(而不是异常)，说明一个OutOfMemoryException。这是在应用程序可以运行(但已经编译)之前。有问题的页面(错误出现在带有相关页面的输出窗口中)是RSS Reader页面，它调用方法来执行解析。
我如何才能完全修复这个错误？这个错误只是偶尔出现，所以很难重现。一些信息指向我的开发环境的问题，而不是站点或Visual Studio的问题(这可能意味着另一组实时变量)。这个异常
浏览 0提问于2009-08-10得票数 1
我们使用一个存储字段和2个索引字段的solr 4.8，使用4 4GB，我们能够索引和搜索大小不超过200MB的文件，但超过200MB的文件会出现OOM错误。这和预期的一样吗？如何计算索引和搜索大文件所需的RAM大小？
编辑:我尝试分配JVM 20 by，但仍然出现相同的错误。
浏览 3提问于2014-11-25得票数 0
我试图使用tf.data.Dataset来交织两个数据集，但在这样做时遇到了问题。鉴于这个简单的例子：
ds0 = tf.data.Dataset()
ds0 = ds0.range(0, 10, 2)
ds1 = tf.data.Dataset()
ds1 = ds1.range(1, 10, 2)
dataset = ...
iter = dataset.make_one_shot_iterator()
val = iter.get_next()
什么是...来产生像0, 1, 2, 3...9这样的输出？
看起来dataset.interleave()是相关的，但是我无法以一种不会产生错
浏览 14提问于2017-11-17得票数 20
回答已采纳
我研究了不同的方法，可以使用自定义Tensorflow数据集，并且我习惯于查看，但当我查看时，我看到了下面的示例：
class ArtificialDataset(tf.data.Dataset):
def _generator(num_samples):
# Opening the file
time.sleep(0.03)
for sample_idx in range(num_samples):
# Reading data (line, record) from the file
time.sleep(0.015)
y
浏览 6提问于2022-05-20得票数 2
1回答
我有一个由我自己写在C/C++上的程序，它是由Linux杀死的。“被杀”的信息出现了。愿意挖掘我在/var/log/kern.log文件中观察到的问题：
Out of memory: Kill process 3915 (my_proj) score 236 or sacrifice child
Killed process 3915 (my_proj) total-vm:5503376kB, anon-rss:3857420kB, file-rss:40kB
我不知道如何阅读这些信息，也不知道是否有一些有用的信息可以理解为什么会发生这种死亡事件。你能帮帮我吗?
浏览 5提问于2015-06-03得票数 0
回答已采纳
我已经开始使用TensorFlow 2.0，并且在一个方面有一些不确定性。
假设我有这个用例:在使用tf.data.Dataset摄取数据时，我想对一些图像应用一些特定的增强操作。但是，我使用的外部库需要，即映像是一个numpy数组，不是张量。
当使用tf.data.Dataset.from_tensor_slices()时，流动的数据需要类型张量。具体例子：
def my_function(tensor_image):
print(tensor_image.numpy()
return
data = tf.data.Dataset.from_tensor_slices(ten
浏览 15提问于2019-12-27得票数 7
回答已采纳
1回答
环境：
Ubuntu 16.04在256 on上的新安装
使用PHP7.1的LEMP堆栈
最新的WordPress安装与Avada主题和相关插件仅限于。
不上传时至少有75 of的RAM空闲
错误：
上传大型图片时会出现502个错误~8MB和24MP。服务器可以接收文件，但在处理缩略图时返回错误。
我使用这个服务器来探索可能的自我托管映像解决方案，所以我也临时安装了Lychee，在上传图像时也会出现同样的情况。
Nginx原木：
recv() failed (104: Connection reset by peer) while reading response header from up
浏览 0提问于2017-05-12得票数 0
回答已采纳
我有一个类似于本教程-> 中的实现
问题: ImageFetcher类从web上下载图像，然后我将图像放在磁盘上。
调试代码时，我意识到Bitmap返回方法是：
private Bitmap processBitmap(String data);
怎么办?我的图片大小约为1920x1080，需要全屏显示。这是一款安卓22英寸的一体机。
我总是收到OOM错误..这就是为什么我尝试使用android教程代码，但我不知道如何在不出现错误的情况下从磁盘生成该分辨率的位图。
提前谢谢你，我真的很感谢你的帮助
浏览 0提问于2013-05-28得票数 0
问题
请帮助理解将改编的应用于文本数据集时出错的原因。
背景
有一个部分可以将经过调整的TextVectorization层应用于文本数据集。
from tensorflow.keras.layers.experimental.preprocessing import TextVectorization
training_data = np.array([["This is the 1st sample."], ["And here's the 2nd sample."]])
vectorizer = TextVectorization(output_m
浏览 10提问于2021-04-09得票数 0
回答已采纳
我的WebLogic服务器使用JRockit JVM R28。我们需要将WebLogic JVM配置为在发生OutOfMemoryError时自动关闭/杀死/退出。
名为“JRockit ExitOnOutOfMemory”的JVM参数将允许我们完成这一任务。但是，Oracle文档提供了不正确和冲突的信息。
) 说，只需将放入启动脚本中即可。然而，JRockit不“识别”这个参数。
2. 说要将放入启动脚本中。但是，JRockit也不承认这种配置。我相信他们错误地抄袭了Hotspot文档中的内容。
如何实现此参数？
浏览 3提问于2013-07-31得票数 0
回答已采纳
我有一个大型存储库(Android实例)，我试图缩小.git文件夹的大小(目前为76G)，因为构建的空间正在耗尽。
我试着从git gc --prune=now --aggressive中运行，但失败了，出现了以下错误：
git gc --prune=now --aggressive
Enumerating objects: 998206, done.
Counting objects: 100% (998206/998206), done.
Delta compression using up to 16 threads
error: pack-objects died of signal
浏览 21提问于2022-10-08得票数 1
2回答
首先，我应该说，我是服务器配置和管理方面的新手。
在我的例子中，mariadb的cpu使用率很高，当资源不可用和网站瘫痪时，oom杀手会关闭该服务。
当oom杀手杀死服务或限制服务资源以防止oom杀手杀死服务时，如何保持网站？
我搜索了很多关于限制资源的内容，但是所有的解决方案都说我应该优化我的服务和应用程序，我无法通过限制资源来找到预防杀戮服务的解决方案。
浏览 0提问于2023-03-29得票数 0
我在mac os上使用牧场主桌面进行码头操作，并尝试运行多个带有坞组合的容器。当我运行其中的几个时，一切都正常，但当我运行所有这些容器时，至少有一个容器总是出现OOM错误(通常是cassandra，但我认为这取决于启动顺序和内存消耗)。
docker stats告诉我内存限制是2.9GB。如果我正确理解，我有2.9GB的所有容器。对我所有的容器来说这还不够。
我试图在牧场主桌面设置中增加虚拟机内存，使其达到17 it，但我仍然只有2.9GB的停靠限制。
如何增加可用内存与牧场主桌面对接？
浏览 2提问于2022-09-02得票数 1
我正在使用tf.data.Dataset测试tensorflow as_numpy_iterator方法。根据官方文档，该函数允许直接检查tensorflow数据集的内容。但是，当我尝试给出的例子：
dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
for element in dataset.as_numpy_iterator():
print(element)
出现一个错误：AttributeError: 'TensorSliceDataset' object has no attribute '
浏览 4提问于2020-01-14得票数 1
回答已采纳
如何自动重新启动由于OOM而终止的systemd服务。
我增加了一个重新启动，但我不确定这是否会在OOMs上工作，我不能在我的本地开发框上复制OOM，所以知道这个工作将是有帮助的。
[Service]
Restart=on-failure
RestartSec=1s
错误：
Main process exited, code=killed, status=9/KILL
读取docs 看起来像是在不干净的退出代码上重新启动，我认为状态9会出现在它下面，但是请有人验证我的想法。
浏览 4提问于2022-11-17得票数 -1
2回答
我有一个在HotSpot jvm 1.8.0_45上运行的应用程序，它有8 8GB的堆。应用程序尝试为新对象分配内存失败，出现堆空间OOM错误。我查看了堆转储，发现大部分空间被T4CConnection实例的charBufferCaches占用。这个缓存保存字符数组的SoftReferences。我很惊讶SoftReferences没有在OOM之前发布。我仔细检查了这个数组是否有硬引用，但没有找到。
当应用程序通过SoftReferences保存3 3GB的字符数组时，为什么我有堆空间OOM？当应用程序需要新内存时，为什么不释放此SoftReferences？
显示charBufferCach
浏览 25提问于2016-03-04得票数 0
我有一个经过训练的模型，我想在tf.data管道中使用它作为第二个模型。当我尝试这样做时，我得到了一个ValueError: Unknown graph. Aborting.，我不知道如何处理这个错误消息。 我的代码看起来像这样： def load_data(..., model):
# code to load an image
files = tf.data.Dataset.from_tensor_slices(file_list)
images = files.map(load_image_from_file)
def pass_image_thro
浏览 11提问于2020-04-09得票数 2
回答已采纳
我正在使用准备一个用于训练tf.kears模型的流数据集。使用，有没有办法创建一个节点并返回创建的tf.data.Dataset，以便在下一个训练节点中使用它？
可能不会工作，因为tf.data.Dataset不能被酸洗(deepcopy是不可能的)，另请参见。根据的说法，在MemoryDataset中进行深度复制是为了避免其他节点修改数据。有人能详细解释一下为什么/如何发生这种并发修改吗？
从上看，似乎有一个copy_mode = "assign"。在数据不可拾取的情况下是否可以使用此选项？
另一种解决方案(也在问题91中提到)是只使用一个函数在训练节点内生成流tf.data
浏览 0提问于2020-09-04得票数 3
这是我的代码：
train_images = tf.keras.utils.image_dataset_from_directory(
'/content/drive/MyDrive/ArabicHandwritten2/train')
train_labels = tf.keras.utils.image_dataset_from_directory(
'/content/drive/MyDrive/ArabicHandwritten2/test')
train_images = tf.reshape(train_images.shape[0],
浏览 36提问于2022-11-25得票数 0
我有一个使用tensorflow后端进行文本分类的keras模型。它目前假设输入是一个整数的numpy数组。
我想修改这个，这样我就可以在原始文本上进行训练和预测。根据我收集的信息，这涉及到使用tf.transform将字符串的张量转换为整数的张量。
我已经使用tf.transform做到了这一点，但现在不确定如何将这个预处理步骤添加到我的模型中作为第一层/步骤。为了清楚起见，我的输入数据如下所示：
[{"review":"movie is great}, {"review":"awful film"}]
输出结果为：
[{"re
浏览 1提问于2018-10-20得票数 4
我想用tf.data.Dataset替换我的旧RandomShuffleQueue方法。对于一些背景知识:我在运行时生成数据，将其放入队列中，然后随机取出。 我看不到使用tf.data.Dataset的方法，因为我总是需要生成数据，而我又没有办法将新数据放入Dataset中。像repeat这样的东西对我没有帮助，因为它总是使用我预先设置的相同元素在Dataset上工作。 您知道如何将Queue功能添加到tf.data.Dataset中吗？基本上，如果我在tf.data.DataSet中有一个队列/缓冲区，我如何用新数据重新填充它？
浏览 9提问于2019-02-08得票数 0
回答已采纳
可能重复：
是：
当Java虚拟机无法分配对象时抛出，因为对象内存不足，垃圾收集器无法提供更多的内存
Java说：
错误是Throwable的子类，它指示合理的应用程序不应该试图捕捉的严重问题。大多数这样的错误都是不正常的。
这感觉就像在听：
如果你溺水了，理智点:你不应该试图往上游以保持你的头在水面上。死亡通常是由异常情况造成的。
让我们设想一个运行服务的场景。由于某些原因，同一服务器上的另一个应用程序正在消耗大量内存，导致服务中出现意外的OOM。试图减少该服务的内存消耗以保持用户可用是否是一个坏主意？
还是在JVM级别发生了更根本的事情，阻止在抛出OOM之
浏览 11提问于2011-09-08得票数 7
回答已采纳
我有一个JSF应用程序，我想确保它在HTTP 500错误时为用户提供有意义的响应。当我强制使用OutOfMemoryError时，应用程序就会死掉，但是我会从Tomcat6.0.35获得一个默认的500个错误页面。
我的应用程序设置的相关部分如下：
web.xml：
<filter>
<filter-name>Error</filter-name>
<filter-class>myApp.ErrorFilter</filter-class>
</filter>
<filter-mapping>
浏览 6提问于2012-09-17得票数 0
回答已采纳
总之，我在手机上遇到了内存不足的异常(4.4.4 MotoX)。拍照后，我从sdcard-path中读取，然后出现异常。
12-18 11:12:47.294 11966-11966/com.geexfinance.geexfinance E/dalvikvm-heap﹕ Out of memory on a 42024976-byte allocation.
12-18 10:15:42.099 12905-12905/com.geexfinance.geexfinance E/AndroidRuntime﹕ FATAL EXCEPTION: main
Process: com.
浏览 7提问于2014-12-18得票数 0
回答已采纳
我正试着用CNN来训练我自己的形象。
但是，我分割了训练/验证/测试数据，并运行模型。这是我的密码。
print("train images : {} / train labels : {}".format(train_image.shape, train_label.shape))
print("val images : {} / val labels : {}".format(val_image.shape, val_label.shape))
print("test images : {} / test labels : {}".forma
浏览 1提问于2021-10-01得票数 0
回答已采纳
请帮我找出解决问题的办法。首先，我必须声明，我已经成功地创建了自己的自定义数据集，并在我自己的计算机上成功地使用resnet101 (16 4GB内存和4GB NVIDIA 980)训练了该数据集。
当我试图使用inception resnet和nasnet交换主干网时，问题就出现了。我得到了以下错误
"ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape ..."
我认为我的电脑上没有足够的资源，所以我用60 on内存和12 on Tesla K80 (我
浏览 0提问于2018-01-25得票数 1
我们有一个debian网络服务器。它只是运行apache2。我们的mysql服务器位于另一个主机上。但是，有时我们在we服务器上运行cron任务来执行常规任务。
然而，最近，一个cron任务出现了错误，并开始吞噬内存。Linux OOM杀手杀了apache。当然也毁了我们的网站。记忆饥饿的克伦一直在跑。然而，在这种情况下，我希望OOM杀手杀死那个脚本，而不是apache。
有什么方法可以配置内核，这样我就可以说，不要杀死名为“apache2”的进程(或者至少让apache2成为它杀死的最后一件事)？apache和常规cron都作为同一个用户运行(www- user )。
浏览 0提问于2010-01-21得票数 8
嗨，伙计们，我正在使用领域特定语言(DSL)和WebSphere。我的核心是基于java、spring和Hibernate。当多个用户试图同时通过UI从数据库获取数据时，堆内存被填满，应用程序在生产环境中出现内存中的error.This问题。
浏览 1提问于2016-06-24得票数 0
回答已采纳
发行说明：：
我在研究反应本机应用程序。我的服务器中有太多的API数据。如果我第一次在页面上点击这个API，那么它就正常工作了。但是，当第二次在同一页面上点击API时，应用程序就会关闭。在火基上没有此错误/崩溃日志。
我使用来点击服务器上的API。
代码：：
componentDidMount() {
this.getSingleUser();
}
async getSingleUser() {
NetInfo.isConnected.fetch().then(isConnected => {
axios.get(`${api_URL}`)
浏览 2提问于2019-03-20得票数 2
1回答
我已经创建了一个应用程序，它可以获取安卓设备捕获的图像，并在ImageView中显示该图像。然后，用户可以按下按钮对图像进行模糊或去模糊。当我在我的Android设备上运行这个应用程序时，我可以用相机拍摄一张图像并显示出来，没有任何问题。当我按下模糊按钮时，出现了一个问题，该按钮运行一些代码来模糊图像。应用程序被冻结，我获得了一行代码的OutOfMemoryException，这行代码创建了一个新数组，并将其存储在嵌套的for循环中的另一个数组中。
以下是嵌套的for循环的代码：
for (int y = 0; y < height; y++) {
for (int x = 0;
浏览 0提问于2015-04-24得票数 2
我希望探索联合学习中数据增强是如何工作的，我目前正在使用tff来实现它。我注意到tff提供的数据集是由张量组成的，而张量不能直接调整，所以天真的想法是将其更改为numpy数组，然后进行增强。我试过了
tfds.as_numpy(emnist_train.create_tf_dataset_for_client(n))和它确实为我提供了numpy数组，但是当我试图将它传递给预处理函数时，我遇到了问题。如果我做了：preprocess(tfds.as_numpy(emnist_train.create_tf_dataset_for_client(n)))
其中预处理被定义为
def preproc
浏览 3提问于2021-04-15得票数 2
你好，我在2010中使用MAPI。
当我在我的自定义MAPI类中使用一些操作时，在结束程序执行(调试模式)之后完成一些操作，然后outlook自动关闭。
创建以下会话标志
MAPI_EXTENDED \ MAPI_USE_DEFAULT _ MAPI_NEW_SESSION
如何自动停止关闭前景？
浏览 3提问于2014-04-02得票数 0
回答已采纳
3回答
在我的C#程序中，我执行各种消耗内存的操作。根据当前可用的内存量和各种非常数情况，程序会在不同阶段出现OutOfMemoryException失败。
当程序在不久的将来会因为OOM而失败时，我想在某个时刻停止处理。
然而，对此没有固定的阈值；其他用户可能有更多(或更少)的内存，另一个操作系统具有其内存细节等。
我不想仅仅检查软件消耗是否超过500MB，因为这可能太高或太低的限制。
在.NET中有没有什么可靠的方法来预测即将到来的面向对象模型？
浏览 2提问于2012-09-11得票数 7
回答已采纳
1回答
我知道-XX:+HeapDumpOnOutOfMemoryError将在OutOfMemoryError上启用堆转储。
线程转储有没有类似的东西？当服务器上发生错误时，我需要它-当它发生时，我没有访问进程本身的权限
浏览 16提问于2013-03-04得票数 2
回答已采纳
我的Solaris服务器出现问题。当我在内存有限的情况下启动Sun Java进程时，它占用的资源是原来的两倍多。
例如，我的服务器上有64 Go的内存。1个运行在Linux上，其余的运行在Solaris上。我在所有的服务器上运行了相同的软件(只有java)。
当服务器启动时，它们占用了400Mb到1.2 of的RAM。我启动了我的java进程(通常在每个java进程4到16go之间)，并且我不能运行超过32 Gb的Xmx和XMX值。我得到了这样的错误：
> /java -d64 -Xms8G -Xmx8G -version
Error occurred during initializa
浏览 3提问于2010-01-14得票数 0
在中，Dmytro的答案要求我有一个要传递给tf.data.Dataset.zip的tf.data.Dataset对象列表。
我需要每个tf.data.Dataset对象只包含一个ID的实例，并且为了使tf.data.Dataset对象的数量与ID相同。
我的数据由使用以下结构从目录导入的图像组成：
path/to/image_dir/
split_name/ # Ex: 'train'
label1/ # Ex: 'airplane' or '0015'
xxx.png
xxy.png
xxz
浏览 6提问于2021-04-27得票数 0
回答已采纳
2回答
chrome调用oom杀手: gfp_mask=0xd0，order=0，oom_score_adj=300
在使用无头铬浏览器+ Selenium进行测试时，我得到了上述错误。
浏览 6提问于2020-01-13得票数 5
我正在使用Vagrant在Linux上构建我的Haskell项目。当我在Vagrant中cabal build时，生成的二进制文件很好。当我试图使用vagrant ssh -c 'cabal build'在主机上编写构建脚本时，会产生一个零大小的二进制文件。编译显然可以工作，但我认为一旦链接器启动，Vagrant就会关闭并终止链接。为什么会发生这种事？
在谷歌搜索之后，我只能找到一个。
在IRC的帮助下，我们能够确定这一工作：
ssh vagrant@127.0.0.1 -p 2222 -i .vagrant.d/insecure_private_key 'cabal
浏览 1提问于2014-03-16得票数 2
回答已采纳
这是使用Petastorm训练mnist数据的代码。
def train_and_test(dataset_url, training_iterations, batch_size, evaluation_interval):
with make_reader(os.path.join(dataset_url, 'train'), num_epochs=None) as train_reader:
with make_reader(os.path.join(dataset_url, 'test'), num_epochs=None) a
浏览 1提问于2020-11-02得票数 1
有什么想法吗?在使用--oom-kill-disable创建容器时如何传递docker service create标志？上记录了这个参数，但是我想知道是否可以将它用于码头服务。
当作为参数添加到docker service create中时，我将得到以下错误：
unknown flag: --oom-kill-disable
谢谢!
浏览 5提问于2022-03-15得票数 0
有没有办法限制特定进程的虚拟大小，例如(32位，Windows Server2003)？
我有一个托管在IIS(C#)中的服务，它将根据用户操作获得/保留/确认插槽。我在日志中没有得到任何错误。我得到的所有Http错误代码都是200。在服务器停止接受任何进一步的网站请求之前，内存利用率的增加和垃圾数据收集的大小不断增长，随后出现内存不足异常。
因为我得到了OOM (我们的应用程序出现内存不足异常，这主要是因为应用程序使用了峰值虚拟内存)，所以我试图通过减少可用资源来复制OOM。
浏览 0提问于2014-12-17得票数 1
在谷歌云上训练和评估大型神经网络模型(tensorflow)。
评估我的模型时出现以下错误：
W Resource exhausted: OOM when allocating tensor with shape[38633472,17]
W Ran out of memory trying to allocate 2.45GiB. See logs for memory state.
undefined
我认为这与容器内存限制有关。
对此有什么帮助吗？
浏览 2提问于2017-03-22得票数 0
我正在尝试在tensorflow中加载300W_lp数据集。现在，当我尝试使用以下命令将数据集加载到tensorflow中时，我从C:/datasets/the300w手动下载并提取了该数据集 the300w = tfds.load('the300w_lp',data_dir='C:\datasets\the300w', download=False) 它会给我一个错误 Dataset the300w_lp: could not find data in C:\datasets\the300w. Please make sure to call dataset
浏览 58提问于2020-08-22得票数 0
回答已采纳
我正在开发一个图像处理应用程序，在其中我有一个专辑文件夹，其中包含多个图像。
此外，在项目中可以有多张专辑。在启动应用程序时，有一个相册列表。在选择相册gallarey视图时，将显示包含在该相册中的图像。
如果我们选择任何图像而不是新的活动，您可以在其中对选定的图像进行绘图(即，您可以在图像上绘制线条或形状)。您也可以添加图像到相册，使用相机或从画廊。现在我面临的问题是，应用程序工作fine.But，我无法处理OutOfMemory错误。我试过很多东西。比如
调整图像大小。
破坏活动。
对数据库助手类使用应用程序上下文。
浏览 4提问于2012-10-11得票数 0
1回答
Python脚本静默停止
、、、、
我将Python脚本作为子进程运行，使用Nodejs生成。
当在本地运行或在本地使用Docker / Kubernetes安装时，它按预期工作，并完成脚本中的所有功能。在Kubernetes Azure中运行容器时，脚本会在不到1小时内静默停止/失败，没有任何异常或记录错误。
内存和CPU使用率保持在最大30%以下，容器作为一个整体不会失效。在运行ps -fA | grep python时，我可以看到脚本在生成之后运行。脚本在失败/停止后不再显示。生成的进程在Nodejs中的“退出”和“关闭”事件不会触发。
如有任何关于如何排除故障的建议，将不胜感激。
编辑: Nodejs产卵
import
浏览 5提问于2022-02-10得票数 1
我用tf.data.dataset解决了两个问题：
我想知道是否有可能将tf.data.dataset转换为pandas数据帧？
此外，我想知道是否可以将tf.data.dataset用于其他模型(除了tf神经网络)，例如，我可以使用tf.data.dataset来训练xgboost、LGBMClassifier、RandomForest分类器等。
你能帮忙吗？
浏览 1提问于2021-01-27得票数 0
我使用DynamicDestinations (来自BigQueryIO)将数据从一个Cassandra表导出到多个Google表。这个过程包括几个步骤，包括将准备好的数据写入(作为JSON格式的文件)，然后通过加载作业将文件加载到BQ。
问题是，导出过程在最后一步(从加载文件到BQ)时出现内存不足错误。但是还有一些准备好的文件，GCS中的所有数据都还保留着。BigQueryWriteTemp位置中有3个目录：
还有很多没有明显名字的文件：
问题是文件的存储结构是什么？如何将文件与它们准备的表(表名)匹配？如何使用这些文件继续从加载作业步骤导出过程？我能用一些横梁代码吗？
浏览 1提问于2018-02-19得票数 0
回答已采纳
我对中的my_input_fn()感到非常困惑
如果shuffle = False，estimator.train()不会在循环中使用相同的数据子集吗？即循环迭代#1和#0使用相同的数据子集。
这里的目标是：*在循环中调用estimator.train() *评估循环内的验证错误*训练()和评估应该在不同循环iteration#的不同数据子集上进行。
从运行时调试消息可以看出，每次调用train()时都会调用input_func，例如，如果循环计数为10，则input_func()将被调用10次。由于input_func每次都会设置数据集(重新初始化tf.data.Dataset)，因此在10
浏览 1提问于2019-01-02得票数 0
1回答
在执行java -jar时，我希望使用一个环境变量作为JVM选项。
我想要执行的命令：
java -XX:onOutOfMemory='echo test' -jar foo.jar
当我按原样运行上述命令时，jar将运行。
(如果您没有foo.jar，您将得到一个Error: Unable to access jarfile foo.jar错误。但这仍然意味着该选项被正确使用)。
但是，当我创建一个包含JVM选项的环境变量并使用该变量运行命令时。
OOM="-XX:onOutOfMemory='echo test'"
java $OOM -ja
浏览 4提问于2016-01-29得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
