首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

DolphinDB:金融高频因子流批统一计算神器!

摄图网_400062401_banner_光线炫彩背景(非企业商用).jpg 根据官网介绍,DolphinDB同一套系统内,提供数据库、数据分析与实时流计算功能,最大限度避免了数据不同系统之间流转导致超高延时...3、响应式状态引擎(Reactive State Engine) 响应式状态引擎实际上是一个计算黑盒,历史数据上已经验证DolphinDB因子代码(表达式或函数)以及实时行情数据作为输入,输出实时因子值...每一个算子(有状态和无状态)DolphinDB中都可以转化为一个唯一字符串序列。据此,我们可以删除重复算子,提高计算效率。 3.3 内置状态函数 状态算子计算时需要用到历史状态。...状态函数优化,也就是增量方式流式实现非常关键。下列状态函DolphinDB响应式状态引擎均得到了优化实现。目前,状态引擎不允许使用未经优化状态函数。...4、流批统一解决方案 金融高频因子流批统一处理DolphinDB中有两种实现方法。 第一种方法:使用函数或表达式实现金融高频因子,代入不同计算引擎进行历史数据或流数据计算。

3.9K00

从计算、建模到回测:因子挖掘最佳实践

DolphinDB 作为分布式计算、实时流计算及分布式存储一体化高性能时序数据库,因子存储、计算、建模、回测和实盘交易等场景中有着得天独厚优势。...DolphinDB 包含 row 系列函数以及各类滑动窗口函数,在下面两个因子计算例子中,原本复杂计算逻辑,面板数据中,可以用一行代码轻松实现。...因此,面板计算中合理应用 DolphinDB 内置函数,可以从不同维度智慧计算。...不仅如此,DolphinDB还支持自定义函数增量实现。在前一章节中,部分自定义因子函数加了修饰符 @state,表示该函数支持增量计算。...DolphinDB 推荐用户使用自定义函数来封装核心因子逻辑,每个因子对应一个自定义函数

6.1K22
您找到你想要的搜索结果了吗?
是的
没有找到

矩阵基本知识构造重复矩阵方法——repmat(xxx,xxx,xxx)构造器构造方法单位数组构造方法指定公差等差数列指定项数等差数列指定项数lg等差数列sub2ind()从矩阵索引==》

要开始学Matlab了,不然就完不成任务了 java中有一句话叫作:万物皆对象 matlab我想到一句话:万物皆矩阵 矩阵就是Java中数组 不过矩阵要求四四方方,Java中数组长和宽可以不同长度...一个有意思矩阵——结构器 听到这个名词,我想到了构造函数#34 结构器有点像对象 具有不同field属性(成员变量) 一个属性就相当于一个矩阵容器,所以为什么说万物皆矩阵呢,哈哈...()函数构造 构造器名称=repmat(strcuct(xxxxxx,xxxxx,xx,x,x),line,column) familys=repmat(family,2,3) 下面得到结果: familys...API文档没有中文版!!help指令也是英文版!!...被虐死了 学习资料不全面,电子书和学习视频都不没有java完善 还有好多数学方法啊,感觉用MATLAB就是跟数学打交道,编程份量小了好多,搞到我这个刚学到定积分大一渣渣搞不懂矩阵秩是什么

1.5K100

干货 | 高频多因子存储最佳实践

下文中,将基于高频多因子存储场景,为大家介绍一个基于 DolphinDB 实现因子库和因子存储方案,对比不同存储模式下性能。...为了方便用户计算因子,DolphinDB 实现了所有 191 个因子函数,并封装在模块 gtja191Alpha 中。...需要注意是,由于此处因子值用是随机浮点数,几乎没有重复,所以压缩比很低。...1、新增因子:新增因子场景,窄表模式只需要进行 Insert 操作,将新增因子数据写入;而宽表模式需要先进行addColumn 操作,然后更新新增因子列数据,DolphinDB 目前更新机制是重写...3、删除因子:删除因子虽然不是必须,但可以释放存储空间,以及提供其他便利。当前窄表模型分区方案删除指定因子时耗时秒级 , TSDB 引擎下宽表模式目前不支持删除因子列。

1.6K20

Alertmanager对接Loki实现日志告警 | 坑我已经帮你们踩好了

Alertmanager对接Loki 我们知道Alertmanager是可以查询Loki 修改Loki配置文件,loki-local-config.yml 添加以下内容: # rules规则存储...然后/monitor/loki/rules 下创建名为fake文件夹,将rule放在该文件夹下。...: {{ $labels.filename }}" annotations: summary: Too many election logs in dolphindb logs...description: 10分钟之内DolphinDB日志内election日志出现10次以上 重启Loki,重启脚本在上一篇推文中有写到。...值得注意是,修改rule配置文件并不需要重启Loki,Loki运行日志里面可以看到如下日志,提示rule文件正在被修改 如果不确定rule中表达式写是否正确,可以Grafana先进行预跑,

4.9K41

数学建模暑期集训7:TOPSIS法(优劣解距离法)

'列区间型正向化处理完成'] ) disp('~~~~~~~~~~~~~~~~~~~~分界线~~~~~~~~~~~~~~~~~~~~') else disp('没有这种类型指标...,请检查Type向量中是否有除了1、2、3之外其他值') end end 主函数(自行输入权重) %% 第一步:把数据复制到工作区,并将这个矩阵命名为X % (1)工作区右键,点击新建(Ctrl..., 大家可以自己试试计算A ./ B % 注意,矩阵和向量没有 .- 和 .+ 哦 ,大家可以试试,如果计算A....(Z),n,1)) .^ 2 ] .* repmat(weigh,n,1) ,2) .^ 0.5; % D+ 与最大值距离向量 D_N = sum([(Z - repmat(min(Z),n,1)...) .^ 2 ] .* repmat(weigh,n,1) ,2) .^ 0.5; % D- 与最小值距离向量 S = D_N ./ (D_P+D_N); % 未归一化得分 disp('最后得分为

46620

高斯混合聚类(GMM)及代码实现

实际上,一般K-means 和 K-medoids 中所用例子就是由多个Gaussian 分布随机生成。...实际上,从中心极限定理可以看出,Gaussian 分布这个假设其实是比较合理,除此之外,Gaussian 分布计算上也有一些很好性质,所以,虽然我们可以用不同分布来随意地构造 XX Mixture...通常单个点概率都很小,许多很小数字相乘起来计算机里很容易造成浮点数下溢,因此我们通常会对其取对数,把乘积变成加和 ,得到 log-likelihood function 。...接下来我们只要将这个函数最大化(通常做法是求导并令导数等于零,然后解方程),亦即找到这样一组参数值,它让似然函数取得最大值,我们就认为这是最合适参数,这样就完成了参数估计过程。...由于式子里 方差 和 均值 也是需要我们估计值,我们采用迭代法,计算时将取上一次迭代所得值(或者初始值)。 2.

3.6K50

硕士毕业半年茫茫社招路

中有一位好友xj腾讯做数据库,他和我交流尤其得多。印象最深一次是2020年6月时候他在做mysql并发写入优化。...有句话说“面试官是一家公司招人门面”,这句话绝没有夸张成分。所以很自然,我会把DolphinDB面试看作是一个很好提前了解潜在未来同事机会。...DolphinDB面试官们也果然没有让我失望。首先是HR与我聊了聊过去经历与未来规划。HR非常专业,也没有任何要彰显自己存在感意思。接下来是研发主管面试。...而且,我国物联网领域,由于我国的人口规模,很多场景面临难题是现在市面上没有一款软件能够解决,所以DolphinDB做开发,不仅仅是“去IOE”(指脱离对IBM, Oracle, EMC三大基础软件外企依赖...除此以外,我也负责了一部分计算引擎开发工作,做了一些计算函数实现与查询优化,这些同样是很有意思也很锻炼工程能力项目。经过这三个月工作,我很确信,这就是我想做工作。

1.2K31

如何让matlab心甘情愿地做你文件搬运工

咱们先来看matlab有哪些与文件操作相关函数表吧! matlab文件操作相关函数函数名称 函数功能 movefile 移动或重命名文件或文件夹:带你去浪漫土耳其!...copyfile 复制文件或文件夹:一生二、二生三、三生万物 …… delete 删除文件或对象:没有我删不掉文件,嘻嘻! rmdir 删除文件夹:我删、我删、我删删!...exist 检查变量、脚本、函数、文件夹或类存在情况:存在即合理! what 列出文件夹中 MATLAB 文件:what?又找不到了? which 定位函数和文件:我就是matlabGPS。...open 合适应用程序中打开文件:芝麻开门! winopen 合适应用程序 (Windows) 中打开文件:打开看看,惊不惊喜,意不意外!...'千里归程三伏天'}; % 文字来源于:http://www.227g.com/shi/ % 字符串连接函数并复制四份 sourceFile = repmat({strcat(pwd,'\poem.txt

95520

Matlab代码之plot函数坐标点显示

matlab2019a安装包 plot函数相关函数xlabel、ylabel、title、text、legend使用 1、图像某个位置显示文字信息, 2、用text()显示plot函数坐标点...安装包及教程 7、完整代码 1、图像某个位置显示文字信息, 用text(x,y,txt)函数图像某个位置显示信息,x和y为位置,txt为内容 matlabhelp有具体解释,这里举一个例子; clc...y2(i),['(',num2str(x(i)),',',num2str(y2(i)),')']); end %第二种形式第二种表达方法 %str=[repmat('(',size(x,2),1),num2str...()一张图同时显示不同曲线; 横坐标相同,不同函数有不同纵坐标,则有不同曲线,为了方便区分,需要给每个曲线命名,命名可以是固定不变文本,也可以是变化数字,但是需要将数字转为字符串,用num2str...% end str=[repmat('(',size(x,2),1),num2str(x') ... repmat(', ',size(x,2),1),num2str(y2'),repmat(')',size

2.8K20

数学建模暑期集训8:熵权法

本专栏第三篇博文中列举了熵权法公式数学建模学习笔记(三)熵权法Excel实现,但用Excel实现讲解视频已经无法观看,这篇博文就来用matlab实现熵权法,比excel手动操作更加方便。...和Topsis结合使用) %% 第一步:把数据复制到工作区,并将这个矩阵命名为X % (1)工作区右键,点击新建(Ctrl+N),输入变量名称为X % (2)Excel中复制数据,再回到Excel...%% 第三步:对正向化后矩阵进行标准化 Z = X ./ repmat(sum(X....,并算出得分 D_P = sum([(Z - repmat(max(Z),n,1)) .^ 2 ] .* repmat(weight,n,1) ,2) .^ 0.5; % D+ 与最大值距离向量...D_N = sum([(Z - repmat(min(Z),n,1)) .^ 2 ] .* repmat(weight,n,1) ,2) .^ 0.5; % D- 与最小值距离向量 S = D_N

51420

数学建模暑期集训9:灰色关联分析

); % 求出每一列均值以供后续数据预处理 gdp = gdp ./ repmat(Mean,size(gdp,1),1); %size(gdp,1)=6, repmat(Mean,6,1)可以将矩阵进行复制...,复制为和gdp同等大小,然后使用点除(对应元素相除),这些第一讲层次分析法都讲过 disp('预处理后矩阵为:'); disp(gdp) Y = gdp(:,1); % 母序列 X = gdp(...(X(:,Position(i)),Type(i),Position(i)); % Positivization是我们自己定义函数,其作用是进行正向化,其一共接收三个参数 % 第一个参数是要正向化处理那一列向量...X(:,Position(i)) 回顾上一讲知识,X(:,n)表示取第n列全部元素 % 第二个参数是对应这一列指标类型(1:极小型, 2:中间型, 3:区间型) % 第三个参数是告诉函数我们正在处理是原始矩阵中哪一列...% 该函数有一个返回值,它返回正向化之后指标,我们可以将其直接赋值给我们原始要处理那一列向量 end disp('正向化后矩阵 X = ') disp(X) end

30030

分布估计算法解决旅行商问题(TSP)

这里说“概率矩阵”记录了上一代优势群体中,“城市对”出现次数(或与城市对出现次数成正比一个数)。“城市对”是指路线中相邻两个城市,这两个城市不分先后。...假设概率矩阵第行第列元素为,它代表优势群体中城市i和城市j相邻次数(即和发生次数)。 经过测试(于2018-11-09),这种算法非常容易陷入局部最优,效果不是很好。...; cityp = cumsum(cityp); index = find(cityp >= rand); % 上一代优势群体中没有城市对记录.../sumcount; end 一些其他函数 选择函数: function spop= selection(pop, sn, fitness) %选择 %pop input 种群 %sn...(pos(1,:)', 1, len) - repmat(pos(1,:), len, 1); deltay =repmat(pos(2,:)', 1, len) - repmat(pos(2,:),

1.2K10

数学建模暑期集训27:粒子群+遗传算法求解多目标规划问题

多目标规划问题定义 实际问题中大都具有多个目标且需要同时满足,即在同一问题模型中同时存在几个非线性目标,而这些目标函数需要同时进行优化处理,并且这些目标又往往是互相冲突,称这类问题称为多目标规划问题...支配 支配:多目标优化问题中,如果个体p至少有一个目标比个体q好,而且个体p所有目标都不比个体q差,那么称个体p支配个体q。...根据遗传算法思想,被支配者被全方面碾压,将会被淘汰,例如,C支配B。 序值 序值:如果p支配q,那么p序值比q低。如果p和q互不支配,那么p和q有相同序值。...拥挤距离 拥挤距离:用来计算某前端中某个体与该前端中其他个体之间距离,用以表征个体间拥挤程度。 matlab求解 这里算法原理复杂了,应用时修改目标函数和约束即可。...((var_max - var_min)', nmut, 1) .* rand(nmut, nVar) + repmat(var_min', nmut, 1); end end 主函数example.m

65720

matlab 数据预处理及常用操作

img_out = repmat(img,[10000 1]);%生成一个1万行img矩阵 img=zeros(1,1024); %zeros生成为0矩阵,其中1024为列数, matlab...中若想列出所有列内容,就直接用:(冒号)即可 tic+toc;%计算程序消耗时间 dir:   列出文件夹内文件内容,只要列出文件夹中有一个子文件夹,则其实代表了有至少有3...random:   该函数和常见rand,randi,randn不同,random可以产生各种不同分布,其不同分布由参赛name决定,比如二项分布,泊松分布,指数分布等,其一般调用形式为:...Y = random(name,A,B,C,[m,n,…])   circshift:   该函数是将矩阵循环平移函数,比如说B = circshift(A,shiftsize)是将矩阵A按照...shiftsize方式左右平移,一般hiftsize为一个多维向量,第一个元素表示上下方向移动(更准确说是第一个维度上移动,这里只是考虑是2维矩阵情况,后面的类似),如果为正表示向下移,第二个元素表示左右方向移动

2K90

【MATLAB 从零到进阶】day10 概率密度、分布和逆概率分布函数计算(上)

概率密度、分布和逆概率分布函数计算 MATLAB统计工具箱中有这样一系列函数函数名以pdf三个字符结尾函数用来计算常见连续分布密度函数值或离散分布概率函数值,函数名以cdf三个字符结尾函数用来计算常见分布分布函数值...,函数名以inv三个字符结尾函数用来计算常见分布逆概率分布函数值,函数名以rnd三个字符结尾函数用来生成常见分布随机数,函数名以fit三个字符结尾函数用来求常见分布参数最大似然估计和置信区间...【例】求均值为1.2345,标准差(方差算术平方根)为6正态分布密度函数值与分布函数值。...【例】调用normrnd函数生成1000×3正态分布随机数矩阵,其中第各列均值分别为0,15,40,标准差分别为1,2,3,并作出各列频数直方图 >> x = normrnd(repmat([0 15...40], 1000, 1), repmat([1 2 3], 1000, 1), 1000, 3); >> hist(x, 50) % 绘制矩阵x每列频数直方图 >> xlabel('正态分布随机数

2.2K20

蚁群算法解决旅行商(TSP)问题

将蚂蚁随机放在城市上。 蚂蚁各自按概率选择下一座城市。 蚂蚁完成各自周游。 更新信息素,进行下一次迭代。 更新信息素过程中,只有最优路线上信息素会进行增加操作,且不能超过信息素最大值。...= rand); nextcity =testcities(index(1)); lastcities =testcities(testcities ~= nextcity); end 更新信息素矩阵函数如下...(pos(1,:)', 1, len) - repmat(pos(1,:), len, 1); deltay =repmat(pos(2,:)', 1, len) - repmat(pos(2,:),...len, 1); dm =round((deltax .^ 2 + deltay .^ 2) .^ 0.5); end 制作启发式因子矩阵函数如下: function eta= makeEta(dm).../dm; end 求路径距离函数如下: function len= callength(pop, dm) %求路径距离 %pop input 种群 %dm

2.2K30

2021数模国赛C题——代码纯享版 – 学金融文史哲小生

'列区间型正向化处理完成'] ) disp('~~~~~~~~~~~~~~~~~~~~分界线~~~~~~~~~~~~~~~~~~~~') else disp('没有这种类型指标...disp('正向化后矩阵 X = ')%输出正向化矩阵 disp(X) end%以end作为结尾 %% Step3:对正向化后矩阵进行标准化 Z = X ./ repmat(sum(X....*X) .^ 0.5, n, 1);%利用repmat函数 disp('标准化矩阵 Z = ')%输出标准化矩阵Z disp(Z) %% Step4:判断是否需要增加权重 disp("请输入是否需要增加权重向量...,并算出得分 D_P = sum([(Z - repmat(max(Z),n,1)) .^ 2 ] .* repmat(weight,n,1) ,2) .^ 0.5; %此为与最大值即最优解距离...D_N = sum([(Z - repmat(min(Z),n,1)) .^ 2 ] .* repmat(weight,n,1) ,2) .^ 0.5; %此为与最小值即最劣解距离 S = D_N

62920
领券