DolphinDB中的np.where_DolphinDB中的面板数据_DolphinDB SQL中的"not like“ - 腾讯云开发者社区

1 超高性能分布式时序数据库神器前段时间，公众号曾推荐过一个超高性能分布式时序数据库神器：DolphinDB。复杂而又变化多端的中高频量价因子的研究和开发已经成为众多量化私募最重要的工作之一。...DolphinDB作为一个一站式的时序数据存储、分析和实时计算平台，可以帮助金工和IT人员将复杂的因子快速转化成能在研发或生产环境中高效运行的计算机脚本。...具体文章详见： DolphinDB：金融高频因子流批统一计算神器！ 2 直播内容本周四（6月17日），DolphinDB将为我们在线上分享他们在这块内容的详细介绍与实际应用。...本次直播的主要内容包括： DolphinDB低延时流数据处理架构 5种流计算引擎的应用和流水线处理研发和交易环境的因子一体化实现 3 嘉宾介绍周小华 | 智臾科技CEO。...每个组件的功能亦针对量化金融的需求进行精心优化。与金融机构现有系统相比，DolphinDB的性能有10-1000倍的提升，实现行情历史数据毫秒级查询与秒级计算响应，以及亚毫秒级实时因子计算。

9083 0

DolphinDB：金融高频因子流批统一计算神器！

状态引擎接受在历史数据批量处理（研发阶段）中编写的表达式或函数作为输入，避免了在生产环境中重写代码的高额成本，以及维护研发和生产两套代码的负担。...这也正是DolphinDB开发响应式状态引擎的动机所在。...中实现前述因子的流式计算。...在后续的版本中，DolphinDB将允许用户用插件来开发自己的状态函数，注册后即可在状态引擎中使用。 3.4 自定义状态函数响应式状态引擎中可使用自定义状态函数。...在后续的版本中，DolphinDB将以行函数（rowRank，rowSum等）表示横截面操作的语义，其它向量函数表示时间序列操作，从而系统能够自动识别一个因子中的横截面操作和时间序列操作，进一步自动构建引擎流水线

3.9K0 0

您找到你想要的搜索结果了吗？

是的

没有找到

从计算、建模到回测：因子挖掘的最佳实践

同时，DolphinDB 自带的数据回放和流式增量计算引擎可以方便地解决因子挖掘中研发和生产一体化的问题。DolphinDB 的分布式存储和计算框架，天生便于解决工程中的可靠性、扩展性等问题。...DolphinDB 包含 row 系列函数以及各类滑动窗口函数，在下面两个因子计算例子中，原本复杂的计算逻辑，在面板数据中，可以用一行代码轻松实现。...前面三个例子展示了 DolphinDB 如何通过流计算引擎实现因子在生产环境中的增量计算。...DolphinDB 不建议在因子计算中采用 peach 或 ploop 的方式来实现并行。DolphinDB 中可用于计算的线程分为两类，分别称之为 worker 和 executor。...以第三章中的权重偏度因子为例，此因子计算只用了一个字段，且计算逻辑不涉及前后数据，所以在SQL中调用时，DolphinDB会自动在各分区内并行计算。

6.2K2 2

新型行情中心：基于实时历史行情的指标计算和仿真系统

三、DolphinDB 的行情中心解决方案作为国内领先的高性能时序数据库厂商，DolphinDB 在服务众多券商、私募、公募、资管和交易所客户的过程中，持续总结和吸收行情中心项目建设的经验，并不断融入到...DolphinDB 数据库系统中，最终归纳形成了一套新型行情中心解决方案。...表5：DolphinDB 宽表存储如表5所示，在一张宽表中存储4500只股票的1098个因子。DolphinDB支持32767列大宽表。一部分时序数据库不支持大宽表或者存在明显的性能问题。...多级存储 DolphinDB支持多级存储，可以将最常用的热数据存储到SSD固态硬盘中提高数据的读写速度，较冷的数据存储到HDD机械硬盘中，不太使用的历史数据存储到S3中。...向量化编程向量化编程是DolphinDB中最基本的编程范式。DolphinDB 中绝大部分函数支持向量作为函数的入参。

3.2K2 1

干货 | 高频多因子存储的最佳实践

对于读取随机标的（A股市场目前约5000 股票）、随机多个因子（10000个因子中随机取1000个因子）的场景，要能从海量的因子数据中尽可能高速并精准读取数据，减少无效 IO ，并以需要的方式（通常是因子面板模式...下文中，将基于高频多因子存储场景，为大家介绍一个基于 DolphinDB 实现的因子库和因子存储方案，对比不同存储模式下的性能。...为了方便用户计算因子，DolphinDB 实现了所有 191 个因子的函数，并封装在模块 gtja191Alpha 中。...2、更新因子：量化投研中，重新计算因子数据是常见的场景。...直播中，我们将进一步为大家介绍更丰富的因子库，并使用更贴近实际用户生产环境的硬件配置和数据量来进行测试，以提供可以参考的性能基准。

1.6K2 0

Alertmanager对接Loki实现日志告警 | 坑我已经帮你们踩好了

为什么要创建名为fake的文件夹，这个因为Loki中定义单租户的Loki系统中，fake为其默认租户名，如果是多租户系统，则/monitor/loki/rules 下多个其他名字的文件夹也可以。...: {{ $labels.filename }}" annotations: summary: Too many election logs in dolphindb logs...description: 10分钟之内DolphinDB日志内election日志出现10次以上重启Loki，重启脚本在上一篇推文中有写到。...值得注意的是，修改rule配置文件并不需要重启Loki，在Loki的运行日志里面可以看到如下日志，提示rule文件正在被修改如果不确定rule中的表达式写的是否正确，可以在Grafana先进行预跑，.... - job_name: dolphindb-datanodelog static_configs: - targets: - localhost labels: #

5K4 1

排名前十的时序数据库

大家好，又见面了，我是你们的朋友全栈君。时序数据库全称为时间序列数据库。...时间序列数据库主要用于指处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。时序数据的兴起还是榜上了物联网的大风。...物联网的基础数据具有数据量大、结构单一、时间属性强、查询简单等特点，传统的关系型数据库在面对物联网数据时，显得应对发力，基本上属于功能过剩但性能不足。...DolphinDB is a high performance time-series database....DolphinDB offers operational simplicity, scalability, fault tolerance, and concurrency. 12.KairosDB 2013

3.4K3 0

硕士毕业半年的茫茫社招路

协议要这样设计、以及许多TCP协议中的细节。...，不仅是他们对我的考察，也是我对DolphinDB的考察。...而这其中，金融中的银行等机构与物联网中制造业、研究院、水电煤国企等都是对国家非常重要的战略性机构。...DolphinDB就是我此次选择的项目，Davis和xj就是我此次选择的人。于是最后，我就和xj一起加入了DolphinDB，工作至今。从我加入公司到现在也差不多有三个月了。...面试中个人应该保持一个什么样的气场呢？我想这个问题见仁见智。

1.2K3 1

随机森林 – Random forest

随机森林属于集成学习中的 Bagging（Bootstrap AGgregation 的简称）方法。如果用图来表示他们之间的关系如下： ? 决策树 – Decision Tree ?...当我们进行分类任务时，新的输入样本进入，就让森林中的每一棵决策树分别进行判断和分类，每个决策树会得到一个自己的分类结果，决策树的分类结果中哪一个分类最多，那么随机森林就会把这个结果当做最终的结果。...注意整个决策树形成过程中没有进行剪枝。按照步骤1~3建立大量的决策树，这样就构成了随机森林了。...本文对 scikit-learn、Spark MLlib、DolphinDB、XGBoost 四个平台的随机森林算法实现进行对比测试。评价指标包括内存占用、运行速度和分类准确性。...测试过程及说明忽略，感兴趣的可以查看原文《随机森林算法 4 种实现方法对比测试：DolphinDB 速度最快，XGBoost 表现最差》随机森林的 4 个应用方向 ?

1.2K1 0

预算 630 万、275 万中标：智臾科技投诉称涛思数据涉嫌提供虚假材料谋取中标

浙江智臾科技有限公司（DolphinDB）未通过初审：符合性审查未通过：未提供时序数据库“集群节点数要求”的有效证明材料。...浙江智臾科技有限公司（以下称投诉人）被投诉人：中央国家机关政府采购中心（以下称国采中心）当事人：中国地震台网中心相关供应商：北京涛思数据科技有限公司（以下称涛思公司）四、基本情况投诉人因对国采中心就本项目作出的质疑答复不满...五、处理依据及结果根据《政府采购质疑和投诉办法》（财政部令第94号）第二十九条第（二）项的规定，投诉事项1、2、3缺乏事实依据，驳回投诉。财政部 2022年5月26日

7004 0

11年逆袭，寒门专升本职高生终成MIT博士生！自学CMU课狂发5篇顶会，全网热议

论文地址：https://dl.acm.org/doi/10.1145/3448016.3452819 离开腾讯之后，周信静又来到了知名数据库公司DolphinDB。...在入职之后，便直接让他以实习生的身份参与到了DolphinDB分布式时序数据库的内核研发当中。期间，团队在用哈希方法来改进SQL引擎分组计算的性能时，遇到了瓶颈。...回顾这段经历时，周信静总结道：在DolphinDB实习时，自己发现了Andy的DB课程，被深深吸引。他希望能将经典的idea应用到DB系统里，甚至创造一些idea。因此，他研究生入坑了DB。...v=8e8KMnGKHwE 从视频中可以看出，他的英文口语水平也是极佳。...在这项工作中，来自MIT、威斯康星大学麦迪逊分校和谷歌的团队提出了一种2-Tree结构，从而解决现有方法在管理大于内存的索引时存在的局限性。

4592 0

国货之光：时序数据库与图数据库最新排名

DB-Engines根据数据库当前的受欢迎程度进行排名，主要使用以下参数来衡量一个系统的受欢迎程度：该系统在网站上被提及的次数：以搜索引擎查询结果的数量来衡量。...大众对系统感兴趣的程度：对于这个度量，我们使用谷歌趋势中的搜索频率。...工作JD中提到的系统的数量：我们使用的是领先的工作搜索引擎Indeed和Simply Hired上的招聘数量。在职业社交网站中：专业人士简历中系统被提及的数量。...在榜单前20我们也看到了来自国内的数据库DolphinDB和TDengine，能够在这样一份主要基于英文媒体及网站为统计源的榜单中，在众多数据库中挤入前20，也确实是实力的象征。...当然Neo4j依然霸榜，榜单前10中也有阿里云发布的GraphDB，及维加星信息科技发布的TigerGraph。希望以上榜单能够给大家在实际应用选型时有个参考。

2.5K5 0

Python常用函数合集2—where函数

本文和你一起探索Python常用函数合集，让你以最短的时间明白这些函数的原理。也可以利用碎片化的时间巩固这些函数，让你在处理工作过程中更高效。...本文目录 where函数的定义 where函数实例一、where函数的定义 where函数是numpy库中的，通常需要先加载numpy库，再调用该函数。...函数的基本调用语法有两种，一种是： import numpy as np np.where(arry) 此时，np.where函数输出arry中“真”值的坐标(‘真’也可以理解为非0)。...或者说np.where函数从arry中返回满足特定条件的元素。比如，它会返回满足特定条件数值的索引位置。...例4：数列中是2的倍数取一个值，否则取另一个值 y = np.array(range(1, 10)) print(y) print(np.where(np.mod(y, 2)==0, '2b', 'n_

4844 0

【python实现卷积神经网络】激活函数的实现（sigmoid、softmax、tanh、relu、leakyrelu、elu、selu、softplus）

代码来源：https://github.com/eriklindernoren/ML-From-Scratch 卷积神经网络中卷积层Conv2D（带stride、padding）的具体实现：https:...//www.cnblogs.com/xiximayou/p/12706576.html 激活函数并没有多少要说的，根据公式定义好就行了，需要注意的是梯度公式的计算。...__call__(x), 2) class ReLU(): def __call__(self, x): return np.where(x >= 0, x, 0)..., alpha=0.2): self.alpha = alpha def __call__(self, x): return np.where(x >= 0,...x, self.alpha * x) def gradient(self, x): return np.where(x >= 0, 1, self.alpha) class

1K1 0

对比Excel，用Pandas轻松搞定IF函数操作

在 Excel 中IF 函数是最常用的函数之一，它可以对值和期待值进行逻辑比较。因此IF 语句可能有两个结果：第一个结果是比较结果为 True，第二个结果是比较结果为 False。...0,"不及格";60,"及格";90,"高分"}) # 性别标识 =LOOKUP(E2,{0,"女";1,"男"}) LOOKUP技巧需要注意的是，LOOKUP中的条件是向后兼容哈 3....(df['性别']==0, '女性', '男性')) data.insert(0,'姓名', df['姓名']) data 输出结果以上实现方案中，用到的两个where函数，其实就和excel里的...和Excel中IF函数更接近的其实就是np.where这个函数，如果条件满足则赋值x，否则赋值y。...']==0, '女性', '男性') 需要注意的是，这里咱们对性别标识的处理稍微区别于开头的完整代码中的，大家知道为什么可以这么写吗？

1.8K2 0

numpy学习笔记 - numpy常用函

() result = np.where(cond, xarr, yarr) # np.where()的用法： ?...(arr > 0, 2, -2) np.where(arr > 0, 2, arr) # 只将大于0的元素设置为2 # 用np.where()进行多条件判断 # 例子：对0~100范围内的数进行判断...arr.cumprod(1) # 每行的累计积注：关于numpy中axis的问题 axis=1可理解为跨列操作 axis=0可理解为跨行操作 # 布尔型数组 arr = np.random.normal...list_a中 arr_a = np.array([6, 0, 0, 3, 2, 5, 6]) values = [2, 3, 6] np.in1d(arr_a, values) # 线性代数相关的函数...(walks) >= 30).any(1) # 在列方向上进行对比 print(hits30) print(hits30.sum()) # 到达+/-30的个数 # 查看每一步中首次到达30的步数

8031 0

完整图解：特征工程最常用的四个业务场景演示

数据检测、筛选、处理是特征工程中比较常用的手段，常见的场景最终都可以归类为矩阵的处理，对矩阵的处理往往会涉及到阈值处理特征拼接、记录拼接多条记录中筛选包含特定值的记录取top N的值对于矩阵的处理没有趁手的兵器可不行...主要使用的函数有，np.vstack, np.hstack, np.where, df.loc, heapq.nlargest。这几个方法的应用已经基本上满足矩阵处理的大部分需求。...思路应该是：定位label==4的分别在第几行，或者说index等于多少，获取这样一列数组根据得到的index数据，分别从matrix中取出。...np.where函数能够得到满足条件的index. np.where(trains[:,-1]==4) ? 从输出来看可以看到，第0行，7行，...299行的label等于4....import pandas as pd df=pd.DataFrame(trains) results=df.loc[np.where(trains[:,-1]==4)] pandas中的loc接口，可以根据给定的行索引直接获取行数据

1K2 0

聚类

格式如下： scipy.spatial.distance.cdist(XA,XB,metric='euclidean',V=None,VI=None,w=None) 返回值为XA向量到XB中各向量之间的距离...#获取每个样本的簇标签的索引，获取簇0和簇1 index_label0,index_label1=np.where(labels==0),np.where(labels==1) ax = p.add_subplot...,用于将样本按类绘制 index_y0,index_y1=np.where(y==0),np.where(y==1) index_y2,index_y3=np.where(y==2),np.where(...y==3) labels= kmeans.labels_ #提取聚类结果的类标签 #获取簇标签的索引,用于将样本按簇绘制 index_label0,index_label1=np.where(labels..._0,index_1=np.where(X_yl[:,2]==0),np.where(X_yl[:,2]==1) index_2,index_3=np.where(X_yl[:,2]==2),np.where

9752 0

如何使用Python找出矩阵中最大值的位置

通过np.max和np.where通过np.max()找矩阵的最大值，再通过np.where获得最大值的位置，测试如下：a = np.random.randint(10, 100, size=9)a =...代码r, c = np.where(a == np.max(a))的作用是找到数组a中的最大值，并确定该最大值所在的行和列。...np.max(a)返回数组a中的最大值，然后np.where(a == np.max(a))返回一个包含最大值位置索引的元组。这个元组被解包给了变量r和c，其中r表示行索引，c表示列索引。...然后，我们使用np.argmax(a)函数来找到数组a中的最大值，并返回其在展平（flatten）数组中的索引。np.argmax函数返回数组中最大值的索引，我们在这里直接将结果保存在变量m中。...第二种方法优点：使用了np.argmax()函数，直接找到展平数组中的最大值索引，避免了使用np.where()函数的额外操作。使用了divmod()函数，将索引转换为行索引和列索引，代码更简洁。

7131 0

matting之trimap生成_膨胀腐蚀

在抠图技术中三分图（trimap)经常被用到，通常使用的方法是膨胀腐蚀(一般在去除噪声的时候先腐蚀再膨胀)。...# cnt1 = len(np.where(msk >= 0)[0]) # cnt2 = len(np.where(msk == 0)[0]) # cnt3 = len(np.where...# # cnt1 = len(np.where(dilated >= 0)[0]) # cnt2 = len(np.where(dilated == 0)[0]) #...# assert(cnt1 == cnt2 + cnt3) # # cnt1 = len(np.where(eroded >= 0)[0]) # cnt2 = len(np.where...一些细节上的处理，导致结果有些不同，根据数据的实际情况，灵活运用，酌情修改 ---- 更新 from scipy.ndimage import morphology def getTrimap(

1.2K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

DolphinDB：金融中高频量价因子的实时计算

DolphinDB：金融高频因子流批统一计算神器！

从计算、建模到回测：因子挖掘的最佳实践

新型行情中心：基于实时历史行情的指标计算和仿真系统

干货 | 高频多因子存储的最佳实践

Alertmanager对接Loki实现日志告警 | 坑我已经帮你们踩好了

排名前十的时序数据库

硕士毕业半年的茫茫社招路

随机森林 – Random forest

预算 630 万、275 万中标：智臾科技投诉称涛思数据涉嫌提供虚假材料谋取中标

11年逆袭，寒门专升本职高生终成MIT博士生！自学CMU课狂发5篇顶会，全网热议

国货之光：时序数据库与图数据库最新排名

Python常用函数合集2—where函数

【python实现卷积神经网络】激活函数的实现（sigmoid、softmax、tanh、relu、leakyrelu、elu、selu、softplus）

对比Excel，用Pandas轻松搞定IF函数操作

numpy学习笔记 - numpy常用函

完整图解：特征工程最常用的四个业务场景演示

聚类

如何使用Python找出矩阵中最大值的位置

matting之trimap生成_膨胀腐蚀

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐