我目前面临着一个问题，关于SavedModel格式的输入的预处理。我使用的是Transformers模型，它使用子字/BPE编码器。我可以将模型保存为savedModel格式，但我也不知道如何将预处理部分(记号生成器)添加到savedModel中。例如，“自定义”标记器，如hugginface，或tensorflow<
浏览 4提问于2020-08-12得票数 0
我正在用TensorFlow开发一个自定义的文本分类模型，现在我想用TensorFlow serving来设置它，以便进行生产部署。该模型基于通过单独的模型计算的文本嵌入进行预测，该模型要求将原始文本编码为向量。我现在以一种有点脱节的方式工作，一个服务完成所有的文本预处理，然后计算嵌入，然后将嵌入作为嵌入的文本向量发送到
浏览 19提问于2020-01-04得票数 1
回答已采纳
背景1)我有tfRecords形式的培训数据1)考虑到我将数据加载(tf.Dataset创建和预处理)作为tensorflow图的
浏览 0提问于2019-02-06得票数 0
回答已采纳
1回答
显示抄袭结果
、、、
我正在开发一个抄袭检测框架。在这里，我们首先通过词干、同义词替换和停用词删除的方法对文档进行预处理。因此，预处理后的文档与原始文档略有不同。在我们将预处理后的文档输入到我们的抄袭函数后，它会返回相似的句子。要在java<
浏览 5提问于2011-05-19得票数 0
回答已采纳
我创建了一个包含以下脚本的基本页面：在详细信息页面中，当我将鼠标移到“单击”文本上时，我可以看到onmouseover="alert('222222')"中的脚本被执行。📷如果我们在浏览器和服务器之间配置一个代理来将编码值更改为<e
浏览 0提问于2019-04-19得票数 0
回答已采纳
我使用SavedModel ( Inception_resnet_v2 )导出TensorFlow模型文件，并使用用于加载文件的TensorFlow，我已经用自己的Inception_resnet_v2saved_model.pb文件直接替换了正式的minst saved_model.pb。但我有一个错误。2017-06-18 10:39:42.066130: I external/org_tensorflow/tensorflow/cc/saved_model&#
浏览 1提问于2017-06-18得票数 3
回答已采纳
1回答
我们目前正在tensorflow 2.4.0中训练一个目标检测模型，它工作得很好。然而，为了能够提供它，我们需要用图像预处理层包装它，该层将图像字节作为输入，并将它们转换为检测模型所需的图像张量。，如果我们调用model.input_names，将返回正确的名称：['image_bytes']。现在，如果我们使用model.save('model_path')保存模型，则<em
浏览 12提问于2021-03-08得票数 2
回答已采纳
在预处理过程中，我们通常会扫描所有的macros，但是我有点困惑，因为预处理程序也会生成标记，这些标记实际上是由词法分析器获取的，它会进一步扫描输入文件，
我已经研究过这个，并且提到预处理令牌可以分为五个大类:标识符、预处理数字、字符串文本、标点符号和其他，那么在预处理状态期间生成的令牌是否仅为？
浏览 0提问于2015-12-05得票数 0
回答已采纳
1回答
中的模型有meta+ckpt文件、Frozen.pb文件和Saved_model文件。更新：
下面是我在类中为restoring.It使用的代码片段，因为我正在为某些应用程序创建一个自定义工具。简单<
浏览 2提问于2019-06-11得票数 4
回答已采纳
我刚刚做了43K文档的文本预处理(停止单词删除/标记化等)。在python中，结果是一个处理过的文本文档(字符串)的列表。现在，我将把这些处理过的字符串转换成词袋特征向量。
我需要两件事的帮助。在我的系统上，我花了45分钟对这43K个文档进行文本预处理。如果我稍后重启系统，我不想再做同样的事情。如何保存</em
浏览 3提问于2015-10-02得票数 4
2回答
我正在编写一个文本解析器，应该从产品描述中提取特征。我这样做的方式是用结构化数据训练系统，并提出一个倒排索引，它可以将术语映射到特征。这在很大程度上效果很好。当文本包含像50ml或2kg这样的度量时，倒排索引将为例如的2kg -> Size和50ml -> Size。
这里的问题是，当我得到一个我以前没有见过的值，比如13ml，它不会被处理。但由于模式与大小相匹配，<e
浏览 0提问于2016-05-16得票数 0
1回答
斯特林格算子失效
、、、
C和C++标准都包含文本，如果字符串操作无法生成有效的字符串文字标记，则行为是未定义的。在C++11中，通过在原始字符串文本中包含换行符，这实际上是可能的。但在标准中，所有的问题总是存在的。在UB或格式错误的程序还没有发生的情况下，还有其他方法可以产生UB吗？
我想听听、C、或C++的任何方言。我是，一
浏览 3提问于2013-07-02得票数 7
回答已采纳
我尝试构建一个tensorflow模型--在这里，我使用tf.py_func在普通python代码中创建代码的一部分。问题是，当我将模型保存到.pb文件时，.pb文件本身非常小，不包括py_func:0张量。当我不作为.pb文件保存和加载时，它就能工作了。
有人能帮上忙吗。这对我来说非常重要，给了我几个不眠之夜。
浏览 0提问于2019-05-21得票数 3
回答已采纳
1回答
我们一直在使用Weka Explorer GUI构建一些分类器模型。现在测试已经完成，我们希望在Java应用程序中实现此模型，以便它可以接受新消息。因此，对于新消息，我们需要对消息进行标记化，将消息中的标记与用于为模型构建词向量的标记进行匹配，然后将该词向量解析为模型。
我们应该如何进行这个过程？有没有可用的例子？我们如何处理新
浏览 1提问于2011-08-27得票数 3
回答已采纳
1回答
我正在尝试构建一个图像分类器，它将基于测试图像和标记图像的数据集之间的相似性度量来识别测试图像的类别。基本上，我想使用KNN分类器，它将预先训练的CNN模型的瓶颈特征作为输入。我想将这个标记图像(瓶颈特征)的数据集存储在Google云存储中的一个单独的存储桶中，并在预测期间允许我的</
浏览 5提问于2018-08-02得票数 0
2回答
这也许很傻，但是我想知道是否应该执行传统的文本预处理步骤来训练一种变压器模型？我记得为了训练一个Word2Vec或手套，我们需要执行广泛的文本清理，比如:标记、删除停止词、删除标点符号、词干或词尾化等等。然而，在过去的几天里，我快速地跳到了转换器模型(顺便说一下)，并且我注意到这些模型中的大多数都有内置的令牌器
浏览 0提问于2019-11-08得票数 14
当我们在服务器端构建超文本标记语言并应用DataTables时，我们可以将原始数据放在data-sort属性中，并将格式化后的值放在单元格的文本中，这样它就可以正确地对列进行排序。我非常需要，但是数据将以json的形式出现，我将其添加为DataTable({data: object})。我使用columnDefs-render来
浏览 20提问于2020-03-27得票数 0
回答已采纳
1回答
我们通过“属性→C/C++通用→预处理程序(包括路径、宏等)”来实现这一点。页面。一切都很好的构建和工作。
我们用相同版本的Linux创建了新的Linux。我们安装了Eclipse (氧气)并安装了CDT插件。我们遵循上述所有步骤，除了这些新VM之外，没有"C/C++通用→预处理器包括路径、宏等“。选项在“属性”对话框中。我们
浏览 1提问于2018-04-04得票数 0
回答已采纳
目前，我试图将PreProcessor实现为ANTLR4 for c#，并在查找相关信息时遇到了很大的困难。我在C#项目的C#源代码中的挖掘并没有真正成功，可悲的是.我的目标是保留令牌偏移量(这样就不会被预处理的流抛出列和行)示例来粗略解释： int smthng =2;
smthng += foo(12); //the ;
浏览 4提问于2017-05-20得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
