展开

关键词

【CDAS 2017】大据与论坛:,智能

CDAS 2017中国行业峰会下午的大据与论坛中,来自IBM、诸葛io、民生银行等六位专家与教授,享了大据在领域的实践和应用 ? 人工智能助力银行审计管理 ? 而用户属性和用户行为特征才是真正需要客户进行洞察的,也是需要深入到具体场景中解决的问题,如获客、风控、创新。如何衡优化渠道与活动投放?如何提升流用户产生交易的比率? 于晓松老在本次演讲中,用实际案例与峰会现场观众一起探讨了在行业的不同场景下实现增长的据驱动与应用法则。 资产配置与 ? 《R的极客理想》系列图书作者、民生银行张丹 中国的二级投资交易市场,是一个不成熟的市场,同时又是情绪化的市场。市场中,每天都存在着大的交易机会,每天都会有“乌龙指”。 当我们能够有一个全局的建模方法,在线去做据处理的时候,就可以用全据做一些特征的表达。 “双创”大服务 ?

59080

Python-PCA

,map()是Series据类型的函。 map()也是element-wise的,对Series中的每个据调用一次函。 2.PCA解德国DAX30指 DAX30指有三十个股票,听起来不多的样子,其实还是挺多的,我们很有必要对其进行主成,然后找出最重要的几个股票。 想必PCA的原理大家应该都是知道,说白了就是在一个回归中找到影响最大的那几个,当然,学原理就涉及矩阵解,什么SVD呀。 先上点代码 ? 这样,你就可以看到前十个股票对DAX30指的贡献了。 ? ? 这里,我们采用只用第一个成去拟合以及前五个成去拟合,发现效果好的出奇。这样我们就做到了降维的工作了。

72380
  • 广告
    关闭

    腾讯云+社区系列公开课上线啦!

    Vite学习指南,基于腾讯云Webify部署项目。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python-PCA

    2.PCA解德国DAX30指     DAX30指有三十个股票,听起来不多的样子,其实还是挺多的,我们很有必要对其进行主成,然后找出最重要的几个股票。 想必PCA的原理大家应该都是知道,说白了就是在一个回归中找到影响最大的那几个,当然,学原理就涉及矩阵解,什么SVD呀。     指的贡献了。 这里,我们采用只用第一个成去拟合以及前五个成去拟合,发现效果好的出奇。这样我们就做到了降维的工作了。我们再来展开看一下PCA的效果。 我们看到,整体效果还是不错的,但是很显然,两边和中间总是有点问题,所以,如果我们要提高,我们可以在中间段进行PCA,这样的话,效果应该会更加好。

    65140

    Python-回归

    1.pandas的线性回归         回归中一个绕不过的话题,其实最好的工具应该是R语言,但是pandas其实也是能够胜任绝大部工作的。         这里,pandas的回归给出了上图的。决策系是0.7621,调整后的是0.7597,不过笔者这里有一个疑问,一元线性回归的调整系有意义吗?         当然,如果我们用的是真实世界的据,恐怕就不会那么好了吧。 既然我们可以进行多项式拟合,那么也就可以给出不同的拟合基函。         然后用linalg,线性模拟函,最小化平方和的方法获取reg,然后用dot方法或者拟合后的y值,如果对矩阵或者线性代很了解的话,这一过程应该是可以很容易就理解的。

    79130

    Pandas雅虎据获取与

    开公众号啦,享读书心得,欢迎一起交流成长。 qr-code.png 雅虎财经 利用Pandas模块直接获取雅虎财经据,方便之极。 网站提供了csv格式据下载服务。 利用any()函,如果有可以用sum()函查看有多少。 ,均保留两位小。 pd.Series([x.min(),x.max(),x.max()-x.min()],index=['min','max','range']) sh.apply(f) Group by Month 手工 # 按月

    2.6K31

    据集 | 新闻情感据集

    下载据集请登录爱科(www.idatascience.cn) 据集从零售投资者的角度包含了新闻头条的观点。据集包含两列,情感标签和新闻标题,情感标签包含消极的,中立的或积极的。 1. 据预览 3. 字段诊断信息 4. 据来源 来源于Kaggle。 5. 据引用 Malo P, Sinha A, Korhonen P, et al.

    14020

    Python-正态性检验

    1.话题引入 我们在线性回归做假设检验,在时间序列做自回归检验,那么我们如何检验一个布是否是正态布的呢? 首先,我们定义一个用来生成价格路径的函。 当然这是我们仿真出来的路径,那么如果我们真的获取了这样的价格据,我们要知道他是不是服从正态布我们该怎么办呢?比较在理论里面,正态布有着很大的优越性。 2.正态性检验 我们知道,其实价格服从的是lognormal布,而每天的收益率是服从正态布呢,所以,首先我们根据上面的仿真据来获得每天的收益率据。 当然啦,这都是有眼睛看看的,我们当然跟喜欢化的。 所以,写个函: def normality_test(arr): print "Skew of dataset %14.3f" % scs.skew(arr) print "Skew

    77810

    【利用Python进行】合并

    pd.DataFrame(raw_data_1) data2 = pd.DataFrame(raw_data_2) data3 = pd.DataFrame(raw_data_3) 将Data1和data2两个据框按照行的维度来进行合并 all_data = pd.concat([data1,data2]) print(all_data) 将data1和data2两个据框按照列的维度进行合并 all_data_col = pd.concat

    29431

    风控据管理——海据离线监控方法

    作者:housecheng  腾讯WXG工程 |导语  解决风控据监控“开发门槛高”“重复工作多”的痛点,实现PSI计算性能十倍速提升。 背景 在业务上,质和稳定是生命线,我们需要对所有已经上线的风控要素,如策略、模型、标签、特征等构建监控。 我们了造成计算时间长的原因有: 部监控指标如PSI计算涉及多次遍历表; Pyspark 原生Row属性访问效率差; 部超大表行达到20亿+。 针对这些问题,我们提出了下述方案逐一解决。 超大表的优化:采样与避免序列化 我们观察到,目前存在少监控表行达到20亿+,历史原因其格式为format(慢于orcfile),这些表全表遍历计算监控指标的时间达到个小时。 小结 针对风控要素监控的“开发门槛高”“重复工作多”等问题,本文提出了“统一监控计算与检查工具”这一解决方案,本文详细论述了该方案TaskMaker、 Calculator、 Checker等各个模块的设计实现

    42710

    镁客请讲 | 阿法任凯:打造智能生态投资系统,为投资机构赋能

    打造智能生态投资系统 据任凯介绍,在高盛的600多个中,其中只有大约10%的是做直接与化交易相关工作,其余都是在各个业务线上负责定,用据和模型来支撑业务决策。 真正成熟的投研投顾,不应该只凭借的经验,而是应该基于大据支撑和快速处理,给出个性化的解读与建议,利用据来辅助客户更好地决策。 “我们不缺据,我们缺的是快速据的能力。” 阿法推出的“阿法”,就帮助机构利用据对新闻动态进行多维度,将与石油相关因素整合到一起,给出期货和现货产品、二级市场在未来一段时间有可能发生的变化,对客户可能带来的影响等。 ? “基于阿法投顾、阿法、阿法操盘手三大产品,打造智能生态投资系统,就是阿法目前最主要的业务方向。” ? 可以看到,随着人工智能相关技术的发展,AI正在大、智能推荐、精准服务等方面对各个产业进行赋能。而对于这样的庞大且牵一发可能动全身的行业来说,实时、快速则成为制胜关键。

    26440

    AIPK人类,结果竟然是……

    只是一个统称,有许多类,首当其冲的是,一个超强的应用实例是,对冲基中,一部意识超前的公司使用了Simplex Equity的Self-learning model的AI ,经过大据的处理和对以往对冲基风险的学习,在英国脱欧的时段,敏锐的决定抛弃日本所有期货,事实证明,没有人类的能做到此类。 这需要超出人类能力的复杂逻辑推理和超大的计算还要加上对以往事例的敏锐观察经验等等。 也许很久之前在公司你很少见工程,但是之后,怕会大的出现,西装笔挺的慢慢消失,取而代之的形象是…你懂得。 可以看出在弱人工智能的当下,AI的强大之处还是计算据,被班主任吊锤的原因还是AI没有创造力,没有性情,不能取代人力资源的原因也是如此,毫无人性的裁决要适用于毫无人性的领域。

    32470

    据类岗位需求的据面

    ▼ 本文试图通过招聘据了解岗位的最新招聘情况,包括行业需求、经验要求、薪资水平等, 进而出相关的薪资以及招聘要求。 (据样例可参考原文) 据岗位需求在不同行业的差异 在各个行业的据职位名称中''最多, 其次是据开发工程据库工程等。 可以看到产品经理和在互联网、电子商务和计算机软件行业的薪资相比较、投资、证券行业来说水平较高,据库工程、投资、证券行业的薪资相对于互联网、电子商务和计算机软件行业较高。 /投资/证券行业对岗位的需求大, 且薪资水平较高于其他行业。 互联网行业对工作经验的要求最高 岗位中企业行业以计算机软件、互联网、为主。 投/资/证券行业的岗位的要求中无工作经验占多, 可见招聘主要面向的是应届毕业生。 薪资与工作经验 接下来我们寻找行业、工作经验和薪资的关系。

    25711

    据类岗位需求的据面

    ▼ 本文试图通过招聘据了解岗位的最新招聘情况,包括行业需求、经验要求、薪资水平等, 进而出相关的薪资以及招聘要求。 (据样例可参考原文) 据岗位需求在不同行业的差异 在各个行业的据职位名称中''最多, 其次是据开发工程据库工程等。 可以看到产品经理和在互联网、电子商务和计算机软件行业的薪资相比较、投资、证券行业来说水平较高,据库工程、投资、证券行业的薪资相对于互联网、电子商务和计算机软件行业较高。 /投资/证券行业对岗位的需求大, 且薪资水平较高于其他行业。 互联网行业对工作经验的要求最高 岗位中企业行业以计算机软件、互联网、为主。 投/资/证券行业的岗位的要求中无工作经验占多, 可见招聘主要面向的是应届毕业生。 薪资与工作经验 接下来我们寻找行业、工作经验和薪资的关系。

    34511

    据类岗位需求的据面

    ▼ 本文试图通过招聘据了解岗位的最新招聘情况,包括行业需求、经验要求、薪资水平等, 进而出相关的薪资以及招聘要求。 据岗位需求在不同行业的差异 在各个行业的据职位名称中''最多, 其次是据开发工程据库工程等。 可以看到产品经理和在互联网、电子商务和计算机软件行业的薪资相比较、投资、证券行业来说水平较高,据库工程、投资、证券行业的薪资相对于互联网、电子商务和计算机软件行业较高。 /投资/证券行业对岗位的需求大, 且薪资水平较高于其他行业。 互联网行业对工作经验的要求最高 岗位中企业行业以计算机软件、互联网、为主。 投/资/证券行业的岗位的要求中无工作经验占多, 可见招聘主要面向的是应届毕业生。 薪资与工作经验 接下来我们寻找行业、工作经验和薪资的关系。

    26120

    Quant必备:学什么、哪家面试难、哪家挣大钱?公众号告诉你~

    卡内基梅隆大学(CMU)的计算学和哥伦比亚大学(Columbia University)的工程专业,也是依赖的投资银行和对冲基的知名投资者。 华尔街绿洲最近的一项调查显示,在知名对冲基工作的初级的平均奖接近10万美元。 学生也可能没有什么工作经验。例如,在巴鲁克学院,毕业生之前的全职工作时间只有18个月。 Morgan)、Point72、Citadel和AQR等公司找到了、流动交易员等工作。 至少有一位专家认为,宽客的薪酬仍然偏低,尤其是考虑到他们在教育方面的投资。 曾担任卖方和买方定的罗伯特卡弗称,他的同行们往往看不到传统交易员的巨额薪酬,因为他们被错误地贴上了工程的标签,而且往往性格上不像传统咄咄逼人的交易员那样苛刻。 随着在交易策略中继续扮演更重要的角色,我们将拭目以待这种情况是否会发生变化。 去哪儿、挣多少? 全球顶尖的宽客硕士学位课程 ?

    1K30

    赚钱大:AI人工智能如何加速市场

    在熙熙攘攘的世界里,永不停息的市场波动,字就是王道。 有一家投资公司,试图利用AI人工智能掌握定性信息的变异,用以诡谲多变的市场冲击者:也就是媒体新闻。 老派作风已不合时宜 多年以来,成群的以人力爬梳所有相关的新闻文章,提出针对特定公司所发布的投资观点,与交易部门沟通后再投注市场。 Triumph的信息科学家Andrew Tan表示,这样的过程非常旷日废时,而且效果也不见得很好,侷限的文章导致错失市场投 资良机。 为了因应不断增加的资料,该公司转而求助AI人工智能。 AI人工智能 利用GPU和CUDA深度神经网络(cuDNN)程序库,Triumph的资料科学家从专属据库中,将资料喂入深度学习系统中。 该系统每三毫秒可一篇文章,每天可以消化成千上万篇文章,如此的工作是从前绝对无法做到的。

    51880

    .| 据科学50人·刘富兵

    刘富兵,国盛证券研究所副所长、首席工程,多次获得国内工程重级奖项。 传统的市场研究应用学和统计学等知识,如今随着自然语言处理、图像识别、语音识别等技术的突破,大非结构化据(文本、图像、音频),也逐渐被应用到领域的中。 在据科学时代,专家们不仅熟知传统的方法,还要从物理学、生物学等交叉领域汲取模型的灵感和方向,利用大非结构化据完善自己的模型。刘富兵就是这样一位据科学领域的“专家”。 作者 | Harry Wu :wuhao@dtcj.com 题图 | 站酷海洛 ▍据侠门派 刘富兵,上海交通大学工程学博士,现任国盛证券研究所副所长,工程首席,曾任国泰君安研究所所长助理 ,工程首席

    30800

    科技迈入2.0时代,字化技术都做了什么?

    云计算/信创:信创一期、二期试点效果明显,开始在存机构全面推广。 大据:机构的据中台基本都已构建完成,在据接入、据存储、据计算、等方面有着广泛用例。 以此为背景,王超老科技在新时代下迎来的新机遇。 首先是字化转型咨询,字化转型的方式方法,企业架构如何构建,据的采集、、治理如何完善,信息技术如何创新等关键方向,无一不需要大的咨询与服务。 享最后,王超老针对用户提问也做了精彩的解答,剖行业各主体的发展区别,以及科技发展规划下,哪些关键技术将得到更多使用机会的问题。 字化转型的 阶段、组织及战略规划 韩光祖老在开始切入正题前,先给与会者字化转型的4个阶段。

    10320

    猎聘:70万在线职位后,告诉你前景

    从猎聘网的中高端职位据来看,2015年职位需求呈现“井喷式”增长,11月份需求就超过4185个,占所有职位的比例也得到持续攀升。可见,“据驱动决策”的趋势在当下变得尤为重要。 ? 职位主要集中在互联网、、消费品、制药/医疗等行业,其中互联网和行业的职位占比超过了80%,这源于该几类行业已在短期内无论是产品端、用户端、运营端等都实现了大据的原始积累,且据增长速度依然可观 行业普遍重视产品与运营层面的,除此之外最为重视对客户的。而对于风险、信用、信贷与投资领域的则是行业特色,反映出已在核心业务线上都发挥着重要作用。 同时,随着工作年限的增加,薪酬与行业平均薪酬的差距逐渐拉大,在15年工作年限时,薪资差距拉大到近20万。 ? 互联网行业年薪超过50万元的职位最多,占比超过五成;其次为行业的21%。 巨大的、复杂的据结构以及结合不同业务而进行的复杂据开发,造成了高端岗位的紧俏。同时也反映出,越来越多的企业(具有大据基础的)愿意付出高薪解决企业自身据方面存在的问题。 ?

    39610

    相关产品

    • 移动金融开发平台

      移动金融开发平台

      腾讯移动金融开发平台(TMF)为银行、互联网金融、保险、证券客户提供一站式、覆盖全生命周期的移动金融服务。核心服务包括APP客户端开发组件、应用加固、环境安全检测等APP开发运营关键服务,帮助金融机构低成本、高效率地打造移动金融服务…...

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券