克托•迈尔-舍恩伯格在《大数据时代》一书中认为，大数据的核心就是预测，即只要数据丰富到一定程度，就可预测事情发生的可能性。...和传统量化投资类似，大数据投资也是依靠模型，但模型里的数据变量几何倍地增加了，在原有的金融结构化数据基础上，增加了社交言论、地理信息、卫星监测等非结构化数据，并且将这些非结构化数据进行量化，从而让模型可以吸收...百度公司人士表示，在这个大数据池中，包含互联网积累的用户数据、历年的命题数据以及教育机构对出题方向作出的判断。...做股票投资策略，需要的大数据可以分为结构化数据和非结构化数据。...结构化和非结构化数据也常常相互转化。“结构化和非结构化数据可以形象理解成把所有数据装在一个篮子里，根据应用策略不同相互转化。
很多网站在对于某些数据会有专门的请求接口，返回一组 json 或者 XML 格式的数据，供前台处理后显示。 ? 另一个就是直接查看网页源代码。通常浏览器的右键菜单里都有这个功能。...一般我会找个格式化 json 的网站把数据复制进去方便查看。 ? 这应该就是组合的持仓数据。那么接下来，一切似乎都简单了。...Step.3 提取数据 因为这个数据比较明显，直接用通过一些字符串查找和截取操作就可以取出来。...Step.4 处理数据 因为我想对数据进行持久化存储，并且做展示和分析，所以我用了 django 里的 ORM 来处理抓下来的数据。...对于抓取到的，一般也可以存在文件中，或者直接通过 SQL 存入数据库，视不同情况和个人喜好而定。 Step.5 批量抓取 前面的一套做下来，就完整地抓取了一组数据。
之后感觉这个名字过于高大上，又不自觉的在草稿中写下《码农技术炒股之路》。这个名称让我会心一笑，因为它即突出了我的身份，又点名了本系列博文要介绍的东西——技术炒股。...最开始时，选择股票我也是人云亦云——我相信现在很多人炒股都是如此。之后便沉下心来做一些技术分析，因为我相信A股市场还是一个庄家炒散户的投机性市场，而我们这些小散要做的就是顺势而为。...预测是需要数据的，而我们一般人都很少有这么大量且完整的历史数据，这是摆在技术炒股人面前的第一个难题。...第一个难题的解决方案将是《码农技术炒股之路》的重点。因为它具有很大的确定性，即每个人都要获取的是准确的数据。而第二个难题就具有多样性了，因为“仁者见仁智者见智”，每个人都有自己喜欢的技术指标。...但是我还是希望所有数据都是掌握在我自己手里，特别是在做大量数据测试时，每次都要通过网络去取数据，其效率当然不如我直接在本地数据库和内存里来的快。 自己抓取并保存到数据库。
1 炒股 昨天看到一个新闻，一个名校毕业的高材生，炒股亏了 700 万，最后无法面对现实，选择流浪街头。 今年，我也亏了不少钱，所以多关注了一下事情的详细信息。...有了积蓄后，经常与银行等金融机构打交道，陈某开始炒股，没想到损失约700万，一时想不开的他就辗转东莞塘厦等地流浪。...这里面应该还有其它的情况，比如可能前期的炒股中挣了一部分钱，所以积蓄有了一定的增长。 另外，更大的概率可能是用了杠杆。...如果在国外的话，甚至有超过 10 倍的杠杆，只需要 70 万的积蓄就可以撬动 700 万的资金量炒股。 但是炒股用杠杆，基本就是找死。...当然还有一个可能性，还借了能借钱的亲朋好友，再加上高杠杆炒股，炒股失败也意味着社会关系彻底毁灭。 选择消失在熟人中。。。
简单说，就是通过对电商大数据的分析，同时参考传统的财务数据、K线图分析等，挑选出100只股票进行等权重投资。 据说战绩惊人，今年，淘金100上涨高达41.5%，而上证综指的上涨只是15.9%。...淘金100指到底是怎么做到的，互联网大数据是否真能指导投资？来看下文这篇详细的图文干货。...传统投资看财报，做调研，其实也是要看这些，只是，财报会比较滞后，做调研比较耗时耗力，且只能抽取少量样本，而电商数据是实时的数据，同时是样本量巨大的海量全量数据。 ?...蚂蚁金服把电商大数据经过处理后，放进数据池子，接着恒生聚源把行情数据，行业资讯等数据补充进数据池，经过建模分析后，得出包含多个维度的“行业景气指数”。...我们再次回看大数据*基金的生产模式可以发现，蚂蚁金服起到的作用是提供一个金融信息服务平台，这是一个大的数据池，同时配备处理大数据所必不可少的云计算运算能力和建模能力。 ? 具体说，作用如下： ?
所以，作为一个程序员，只有真实的数据和理性的逻辑推理可以依赖。无法预测未来，但你可以总结历史规律。 那么问题来了。首先，你得有历史数据。 老办法，先去找搜索引擎。...搜一下诸如“股票历史数据”、“历史K线数据”之类的关键词，就会有不少文章，里面提到一些可以使用的接口。实时行情接口有些是需要购买，但历史数据没有很高的时效性，可以找到不少免费的。...试了可用，于是就用它来抓取历史数据。...抓取一些老股票的数据时，数据只到 2014 年。估计是因为数据量太大，到了默认上限。于是去和讯网上看了下网页上请求时的参数，发现有一个 start 的参数。...这些数据是“除权”后的数据，也就是说有的时候上一个条数据的最新价是 30，但下一条的昨收盘就变成 20 了。这对于之后分析历史数据是有很大影响的。
作者：唐莹莹 摘自：澎湃新闻（微信ID: thepapernews） “跟着新闻联播炒股有肉吃。”对于这句话，很多老股民耳熟能详。...看看最近几次神预测吧 每天晚上20时20分，越来越多的投资者开始守着一项新的“炒股神器”——新闻联播情绪指标（以下简称“情绪指标”），因为该指标精准地预测了5月5日的大跌；而在此之前，该指标也一直显示着与市场...夏潇阳对新闻联播数据的采集源来自新闻联播官方披露的新闻关键词，如强调、切实、稳增长、调结构等。通过公式对这些热词测算，就能得到当日的情绪指标。 ?...数据显示，大多数时候，当沪深300指数出现多空拐点时，情绪指标30日均线会提前反应，不过，“黑天鹅”的发生则不可避免。
其实除了盯下日志，也可以用来玩游戏，甚至可以用来炒股盯盘。可怜的老板还以为你在工作呢，呵呵。 ? 在命令行版星球大战 # 挖坟会不会被打？中，我们看到有通过telnet看电影的这种神器。...mop是一个用go语言写的看盘工具，不过数据来自雅虎，对大A支持不够。 ?
日线数据是股票每日收盘后的信息。这块数据不用实时抓取，所以并不占用宝贵的交易时间的资源。于是我们抓取完数据后直接往切片后的数据库中保存。...这儿要非常感谢网易，它提供一个通过指定起始和截止日期的接口拉取历史日线数据。如果起始和截止选择今天，则拉取的是今天的数据。...之后我们有数据了，则从有数据的最后一天开始算起。... 均线数据按类型分可以分为成交量均线和价格均线。...这是我在对比我的数据和同花顺的数据之后得出的。于是只能再改改。 基本思路是要计算一个因子，因子=前一日数据中收盘价/今日数据中昨日收盘价。
数据描述就是要用一定的方法来提取少量信息，从而让人更容易明白数据的含义。数据描述的方法可以分为两大门类，即群体参数和数据绘图。两者都起到了简化信息作用，从而让数据变得更加易读。...在通过数据绘图，我们可以将数字转换的几何图形，让数据中的信息变得更容易消化。数据绘图曾经是个费时费力的手工活，但计算机图形的发展让数据绘图变得简单。...散点图通过在二维平面上标记出数据点来呈现数据。如果我们想研究湘北高中学生身高和体重的关系，就可以在表示“身高-体重”的二维平面上，标记出所有成员的数据： ?...如果外推1.5个箱子位置超出了数据库的极值，那么边界换成极值的高度。否则，将有数据点超出边界。这些数据点被认为是异常值（outlier），用散点的方式画出。...因此，同一个数据库，甚至同一种绘图形式，都可能产生多种多样的数据图像。不同的数据图像，在传递信息的有效性上，会产生不小的差别。怎样画好数据图呢？我根据自己的经验，总结了下面几个标准： 确定目的。
再比如我们需要修改数据库中表结构，我们也不用停止服务修改代码来保证数据格式的一致性。 我们程序需要知道配置文件是否被修改。如何去做？...在《码农技术炒股之路——架构和设计》一文中，介绍了我们将基于APScheduler实现任务调度功能。...经过测试，《码农技术炒股之路——配置管理器、日志管理器》中单例的实现可以保证上面这个方法获取的是同一个对象，而网上其他单例模式则不行。 获取对象后，我们要组装出要执行的命令。
数据描述就是要用一定的方法来提取少量信息，从而让人更容易明白数据的含义。数据描述的方法可以分为两大门类，即群体参数和数据绘图。两者都起到了简化信息作用，从而让数据变得更加易读。...，下四分位数是按照25%划分数据，上四分位数是按照75%划分数据。...在通过数据绘图，我们可以将数字转换的几何图形，让数据中的信息变得更容易消化。数据绘图曾经是个费时费力的手工活，但计算机图形的发展让数据绘图变得简单。...散点图通过在二维平面上标记出数据点来呈现数据。如果我们想研究湘北高中学生身高和体重的关系，就可以在表示“身高-体重”的二维平面上，标记出所有成员的数据： ?...因此，同一个数据库，甚至同一种绘图形式，都可能产生多种多样的数据图像。不同的数据图像，在传递信息的有效性上，会产生不小的差别。怎样画好数据图呢？我根据自己的经验，总结了下面几个标准： 确定目的。
在交易时间，更快地抓取数据，实时抓取服务和实时数据库操作会占满机器的CPU资源。过了交易时间后，则会通过离线计算服务，把实时数据库中的数据经过计算保存到历史数据库中。...首先，我希望在有限的资源内，实时数据获取的频度高、间隔短。这样可以保证我们数据的时效性。每次拉取时，我都是获得尽可能多的数据，然后经过简单的数据分拆，通过批量insert的方式保存到数据库中。...由于实时数据库中同类型数据都保存在一张表中，也就是说所有股票的同类型数据都在一张表中，这种设计就是为了高效记录实时数据。而在对历史数据的分析时，这样的设计明显不合适。...目前我的设计中，一支股票有四张表保存不同的信息，分别是：历史真实数据、除权后数据、主力行为数据和交易详情数据。以A股3千多支股票计算，则会产生一万多张表。...数据库管理器。我们的数据被分布在不同的数据库中，所以需要一个独立的数据库管理模块让底层分库等复杂操作对上层隐藏。 普通任务管理器。
根据数据收集的算法、调研问题的类型和调研的目标，分析样本调研数据的方法各不相同。这篇文章会简洁明了的分析调研数据过程中的各种问题，同时会说明在一个完整的调研数据分析报告中应该包含什么。...调研数据分析的过程应该包括以下步骤： 1、数据验证和探索性分析 2、确认性分析 3、数据解释 4、数据分析报告存档（用于将来的分析） 数据验证和探索性分析 数据验证主要负责确认调查问卷被正确的完成，并且调研数据具有一致性和逻辑性...一旦上述的检验内容都已完成，探索性数据图表就可以产生。...数据解释 当你完成数据分析，是时候考虑一下调研的结果对于手头上的问题有什么意义。以下是你在数据解释的过程中应该注意的方面： 1、清楚的阐述调研结果有什么实质性的发现。...3、运用调研中的定量数据对于目标群体进行定量预测。 4、解释你现在的数据分析结果对于调研目标的意义，而且如果需要的话，对下一步调研的步骤给予建议。
传言某大厂云数据库负责人炒股亏了一个亿，到底有没有亏一个亿确实没有人能证实。 但能证实的消息也很劲爆。...杠杆的意思就是，你可以用1万的钱当做10万来炒股，那么股市涨的时候可以挣10倍，跌的时候可以亏10倍。 在股市、币圈、期货等市场，使用杠杆特别容易灰飞烟灭。...为什么要借同事的钱炒股，我怀疑是为了补足高杆杠的保证金。 当你使用高杆杠炒股的时候，一但股票跌幅超过一定的程度，就会触发平仓，就是把账户清零。...我想这位大佬估计也是一样，可能在之前的经历，通过高杠杆炒股挣到了一部分钱。 所以想通过股市来实现资产暴增，谁也没想到遇到去年的那个行情。...就是不要再炒股了。 也给大家一个建议，这种高风险的理财，占家庭财富的比重不要太高，最多最多拿出50%就可以了。
这是在2017日照夏令营的D1T2，我认为质量相当高的一道题，第一次在赛场上做的时候爆零了，当时态度不很端正，暴力不想打，想投机取巧骗分，还是不要把希望压在不确...
因此，越是丰富的优质数据，越能为我们提供更多的有效信息。常规的行情、财务数据可以通过一些标准化的数据库或者数据接口获取，如雅虎财经、新浪财经、万得等。...数据的获取应根据实际的建模目标展开，即应尽可能地围绕着最终的模拟方向寻找满足我们需求的数据。 Step2数据预处理 收集完数据后，获取的数据往往来自不同的数据源。...由于来自标准化数据库或者数据接口的数据可能是已经被清洗、整理好的数据，而现实中来自不同数据源的原始数据通常会出现缺失值、无效值及以不同标准表示同一变量等问题。...所以我们需要评估获取到的数据，识别数据质量或结构中出现的任何问题，通过修改、替换或删除数据等方式来清理、加工数据，以确保处理后的数据集符合后续的机器学习要求。...监督学习特征工程 ①特征变换 很多时候，成交量、市值、收益等特征会出现数据倾斜，大多数数据都集中在某一范围内，数据尾部拖曳很长，且尾部数据点的数值很大。
夏乙 允中 编译整理 量子位 出品 | 公众号 QbitAI 让AI代替人类炒股，多么美妙的目标。 机器学习技术能在不需要人类预先编写规则的情况下，让计算机从数据中寻找模式。...但他们年轻时，计算机还不够快，可用的数据集还不够大。 到2007年，新数据集和足够厉害的计算机出现了，于是哈里托诺夫和麦考利夫创立了Voleon，用机器学习做投资。...要知道，机器学习这项技术和量化交易的常用方法有一些不同，它不需要科学家提出假设、写出算法给计算机执行，而是由人类为自己算计提供大量数据，然后让它自己找出模式。...Voleon的电脑不仅在财务信息中寻找关系，而且在非财务数据中寻找关系。其中包括卫星图像、航运舱单、信用卡收据、社交媒体情绪等等。这些目标数据，可以帮助寻找某个行业的健康状况或者商品供应的变化。...显然，没有人会透露自己使用了哪种数据，如何进行的评估。Voleon也是一样，谨慎的保护着自己的技术和策略隐私。
数据： 论文使用两个主要数据集进行分析：证券价格研究中心(CRSP)的每日回报和RavenPack的新闻标题。...，包括股票价格、交易量和市值的数据。...其中至少有一篇新闻报道被Ravenpack（一个著名的新闻情绪分析数据提供商）道琼斯版报道。...使用的数据抽样窗口特意选在2021年10月份到2022年12月份之间，以避免导致数据泄露，从而可以对其预测能力进行更准确的评估。...数据预处理： 论文使用RavenPack提供的“相关性分数”作为新闻与特定公司的相关程度的指标。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
