实现hivemall回归函数的问题

文章/答案/技术大牛

发布

1回答

hadoop、hive、hiveql

您好，当尝试使用hive-malls回归工具包时，我在尝试构建特征表示时遇到错误。我一直在遵循这个指南https://hivemall.incubator.apache.org/userguide/supervised_learning/tutorial.html，并一直在尝试重现它我已经使用了提供的代码，但是在运行时遇到了问题。我的问题似乎与指南的这一部分有关 create table if not exists pu

浏览 25提问于2019-05-16得票数 0

2回答

蜂巢中的标记函数

hive、tokenize、tf-idf

我有一张名为pigoutputhive的表，其中有以下字段：“body”列包含一个字符串，字词A& 0-9仅用空格分隔。我想标记这个主体，这样我就可以生成一个与owneruserid和body tuple的关系，以便执行TF-下手算法。create

浏览 2提问于2016-03-27得票数 0

回答已采纳

1回答

有没有办法用Hivemall实现线性回归？

hive、statistics、linear-regression、hiveql、bigdata

我对Hivemall了解不多。

浏览 0提问于2016-02-02得票数 1

1回答

logistic回归的成本函数实现问题

python-3.x、logistic-regression

我试图运行一个逻辑回归的成本函数，我一直收到这个函数是不正确的，我不知道为什么。

浏览 4提问于2022-07-16得票数 0

2回答

在apache蜂巢中处理甲骨文的ROWID

oracle、hadoop、hive、hiveql、hortonworks-data-platform

我正在将oracle查询转换为hiveql；如何使用oracle中的ROWID将查询转换为hive。

浏览 1提问于2015-05-24得票数 0

回答已采纳

2回答

Logistic回归的Python实现作为回归(不是分类！)

python、logistic-regression

我有一个回归问题，我想使用logistic回归而不是逻辑分类，因为我的目标变量y是0到1之间的连续变量。然而，在Python中，logistic回归的常见实现似乎完全是逻辑分类。我还看过GLM实现，似乎没有一个实现过sigmoid链接函数。有人能指点我将Python实现的逻辑回归作为回归算法的方向吗？

浏览 4提问于2020-12-12得票数 1

回答已采纳

1回答

按键显示不同值的星火/蜂巢

apache-spark、hive、apache-spark-sql、aggregate-functions、hiveql

在大数据处理中，通常希望在不改变现有查询结构(分组、子查询等)的情况下“勾勒”组摘要。在Spark (和HiveQL)中，collect_set就是这样做的一个例子。它构建每个组列的唯一值的数组。我正在寻找一个联非新议程，它为B列的每个唯一值从A列构建一个唯一值的映射。by datedate distinct_user_ids_by_category1/2 {a: [3], b: [2, 4]} 要求相同

浏览 12提问于2016-12-30得票数 0

回答已采纳

2回答

开始在java中编写Logistic回归

machine-learning、logistic-regression

我想用java编写逻辑回归(分类问题)算法- 有没有人能告诉我− 我可以编写线性回归的代码它的假设是这是相对容易的，但不能从逻辑回归开始。

浏览 1提问于2014-01-13得票数 0

3回答

不平衡训练数据集与回归模型

r、machine-learning、regression、random-forest

我有一个大型数据集(>300,000次观测)，它代表蛋白质之间的距离(RMSD)。我正在建立一个回归模型(随机森林)，用来预测两种蛋白质之间的距离。我的问题是，我对近距离匹配(短距离)更感兴趣，但是我的数据分布有很大的偏倚，所以大部分距离都很大。我并不在乎模型能预测多远的距离，所以我想确保模型能够准确地预测接近模型的距离。然而，当我对模型进行完整数据的训练时，模型的性能并不好，所以我想知道我能

浏览 1提问于2014-03-28得票数 2

回答已采纳

1回答

人工神经网络激活函数与梯度

machine-learning、neural-network、backpropagation、transfer-function、activation-function

我有个问题。我看了一个关于在C++中实现人工神经网络的非常详细的教程。现在，我对神经网络是如何工作的，以及如何进行编程和训练，有了更多的基本理解。因此，在本教程中，双曲正切用于计算输出，显然它的导数用于计算梯度。然而，我想转到另一个不同的功能。特别是漏(以避免死亡神经元)。我的问题是，它指定这个激活函数应该仅用于隐藏层。对于输出层，应该使用不同的函数( soft

浏览 1提问于2017-10-07得票数 1

回答已采纳

2回答

如何使用Weka中的新培训数据更新经过培训的模型(weka.classifiers.functions.MultilayerPerceptron)？

machine-learning、neural-network、data-mining、weka、regression

我想加载一个我以前训练过的模型，然后用新的训练数据更新这个模型。但我发现这个任务很难完成。我从那里学到实现weka.classifiers.UpdateableClassifier接口的分类器可以递增地接受训练。然而，我训练的回归模型使用的是weka.classifiers.functions.MultilayerPerceptron分类器，它没有实现UpdateableClassifier。然后我检查了Weka API，结果发现没有回归<

浏览 3提问于2013-11-22得票数 1

1回答

正则化的概率建模(logistic?)python回归模型

scikit-learn、regression、linear-regression、logistic-regression、statsmodels

我想用回归模型来拟合概率。我知道线性回归经常用于这个目的，但我有几个概率在0.0和1.0左右，并且想要拟合一个回归模型，其中输出被限制在0.0到1.0之间。我希望能够为模型指定正则化规范和强度，最好在python中这样做(但R实现也会有帮助)。我发现的所有逻辑回归包似乎只适合于分类，而这是一个回归问题(尽管我想使用logit链接函数)。我使用scikits为我的分类和回归需求学习，所以如果这个<em

浏览 4提问于2015-11-21得票数 3

1回答

Hive中有Bloom Filter UDF函数吗？

hive、user-defined-functions、bloom-filter

在大型事实表连接增量事实表的问题上，我知道Bloom Filter是减少No的很好选择。brickhouse的Bloom UDF很少，但是很少有Bloom UDF实现，只有我能找到的是brickhouse的bloom UDF，而且使用起来不是很充分，你需要先读取小表并将bloom数据加载到本地目录中那么，有没有更好的Bloom Filter UDF实现，我可以直接在Hive中使用(只需上传JAR)？谢谢。

浏览 7提问于2021-05-31得票数 0

2回答

logistic回归和线性回归有什么区别？

machine-learning、neural-network、linear-regression、logistic-regression、loss-function

我知道线性回归做“回归”，logistic回归做“分类”。当我们实现这两种方法时，我能注意到的唯一不同是损失函数:线性回归使用均方误差这样的损失函数，logistic使用交叉熵。还有什么我不知道的区别吗？

浏览 0提问于2018-09-14得票数 1

回答已采纳

1回答

浅层神经网络用于预测除1或0以外的其他数？

neural-network、prediction

因此，在我的学习努力中，我偶然发现了Siraj Ravel的youtube频道，还有他的Github，他在那里发布了一个神经元神经网络，预测给定输入的输出。*我看了它和他附带的视频，得到了它如何工作的基本要点。在运行了几次之后，我做了一些小的调整，比如输入，我决定为什么不尝试添加除1和0以外的数字。我创建了一个模式，输出是添加的输入，但是，我遇到了一个错误，它的测试输出是‘1’。我认为这是因为乙状结肠函数</

浏览 0提问于2017-07-27得票数 0

回答已采纳

1回答

线性回归实现中的问题

python、numpy、machine-learning、linear-regression

我是机器学习的新手，我正在尝试使用numpy从头开始实现矢量化线性回归。我试着用y=x测试这个实现，但是我的损失越来越大，我也不明白为什么。如果有人能指出为什么会发生这种情况，那就太好了。提前感谢！

浏览 16提问于2020-02-09得票数 3

回答已采纳

1回答

用于线性回归的神经网络

c、machine-learning、neural-network、regression、gradient

我找到了一个非常棒的源代码，它完全符合我所需要的模型：你有一个x->y图，每个x值都是“特征”的总和，或者我将如何表示它们，z。因此x->y图的回归线应该是函数，其中h(x)是回归线( h(SUM(z(subscript-i)) ) 在这种神经网络中，其思想是以最小化最小平方误差的方式为每个z-value分配一个权重。梯度函数用于更新权重以最小化误差。我相信我可能

浏览 1提问于2016-02-03得票数 0

3回答

使用自定义目标/损失函数的随机森林回归器(Python/ Sklearn)

python-3.x、scikit-learn、random-forest、statsmodels、poisson

我想建立一个随机森林回归模型来模拟计数数据(泊松分布)。默认的'mse‘损失函数不适用于此问题。有没有一种方法可以定义自定义损失函数并将其传递给Python中的随机森林回归器(Sklearn等)？有没有什么实现可以将Python中的计数数据放入任何包中？

浏览 4提问于2018-03-26得票数 7

1回答

梯度提升树的弱学习分类/多类分类

machine-learning、scikit-learn、classification

我是机器学习领域的初学者，我想学习如何使用梯度增强树(GBT)进行多类分类。我读过一些关于GBT的文章，但是关于回归问题，我找不到关于GBT多类分类的正确解释。GBT的实现是利用回归树作为弱学习者进行多类分类的GradientBoostingClassifier。 GB以提前阶段的方式建立了一个加性模型；它允许对任意可微损失函数进行优化。在每个阶段，n_classes_回归树都适

浏览 0提问于2018-04-25得票数 0

回答已采纳

1回答

SGD分类器和Logisitc回归有什么区别？

machine-learning、logistic-regression、gradient-descent、loss-function

据我理解，SGD分类器和Logistic回归似乎相似。损失=对数的SGD分类器实现Logistic回归，损失=铰链实现线性支持向量机。我还了解到logistic回归采用梯度下降作为优化函数，SGD采用随机梯度下降，收敛速度要快得多。但这两种算法中哪一种会在哪种情况下使用？另外，SGD和Logistic回归有什么相似之处，它们又有何不同？

浏览 0提问于2018-09-07得票数 10

点击加载更多