克托•迈尔-舍恩伯格在《大数据时代》一书中认为，大数据的核心就是预测，即只要数据丰富到一定程度，就可预测事情发生的可能性。...和传统量化投资类似，大数据投资也是依靠模型，但模型里的数据变量几何倍地增加了，在原有的金融结构化数据基础上，增加了社交言论、地理信息、卫星监测等非结构化数据，并且将这些非结构化数据进行量化，从而让模型可以吸收...百度公司人士表示，在这个大数据池中，包含互联网积累的用户数据、历年的命题数据以及教育机构对出题方向作出的判断。...做股票投资策略，需要的大数据可以分为结构化数据和非结构化数据。...结构化和非结构化数据也常常相互转化。“结构化和非结构化数据可以形象理解成把所有数据装在一个篮子里，根据应用策略不同相互转化。
之后感觉这个名字过于高大上，又不自觉的在草稿中写下《码农技术炒股之路》。这个名称让我会心一笑，因为它即突出了我的身份，又点名了本系列博文要介绍的东西——技术炒股。...最开始时，选择股票我也是人云亦云——我相信现在很多人炒股都是如此。之后便沉下心来做一些技术分析，因为我相信A股市场还是一个庄家炒散户的投机性市场，而我们这些小散要做的就是顺势而为。...预测是需要数据的，而我们一般人都很少有这么大量且完整的历史数据，这是摆在技术炒股人面前的第一个难题。...第一个难题的解决方案将是《码农技术炒股之路》的重点。因为它具有很大的确定性，即每个人都要获取的是准确的数据。而第二个难题就具有多样性了，因为“仁者见仁智者见智”，每个人都有自己喜欢的技术指标。...但是我还是希望所有数据都是掌握在我自己手里，特别是在做大量数据测试时，每次都要通过网络去取数据，其效率当然不如我直接在本地数据库和内存里来的快。 自己抓取并保存到数据库。
很多网站在对于某些数据会有专门的请求接口，返回一组 json 或者 XML 格式的数据，供前台处理后显示。 ? 另一个就是直接查看网页源代码。通常浏览器的右键菜单里都有这个功能。...一般我会找个格式化 json 的网站把数据复制进去方便查看。 ? 这应该就是组合的持仓数据。那么接下来，一切似乎都简单了。...Step.3 提取数据 因为这个数据比较明显，直接用通过一些字符串查找和截取操作就可以取出来。...Step.4 处理数据 因为我想对数据进行持久化存储，并且做展示和分析，所以我用了 django 里的 ORM 来处理抓下来的数据。...对于抓取到的，一般也可以存在文件中，或者直接通过 SQL 存入数据库，视不同情况和个人喜好而定。 Step.5 批量抓取 前面的一套做下来，就完整地抓取了一组数据。
1 炒股 昨天看到一个新闻，一个名校毕业的高材生，炒股亏了 700 万，最后无法面对现实，选择流浪街头。 今年，我也亏了不少钱，所以多关注了一下事情的详细信息。...有了积蓄后，经常与银行等金融机构打交道，陈某开始炒股，没想到损失约700万，一时想不开的他就辗转东莞塘厦等地流浪。...这里面应该还有其它的情况，比如可能前期的炒股中挣了一部分钱，所以积蓄有了一定的增长。 另外，更大的概率可能是用了杠杆。...如果在国外的话，甚至有超过 10 倍的杠杆，只需要 70 万的积蓄就可以撬动 700 万的资金量炒股。 但是炒股用杠杆，基本就是找死。...当然还有一个可能性，还借了能借钱的亲朋好友，再加上高杠杆炒股，炒股失败也意味着社会关系彻底毁灭。 选择消失在熟人中。。。
简单说，就是通过对电商大数据的分析，同时参考传统的财务数据、K线图分析等，挑选出100只股票进行等权重投资。 据说战绩惊人，今年，淘金100上涨高达41.5%，而上证综指的上涨只是15.9%。...淘金100指到底是怎么做到的，互联网大数据是否真能指导投资？来看下文这篇详细的图文干货。...传统投资看财报，做调研，其实也是要看这些，只是，财报会比较滞后，做调研比较耗时耗力，且只能抽取少量样本，而电商数据是实时的数据，同时是样本量巨大的海量全量数据。 ?...蚂蚁金服把电商大数据经过处理后，放进数据池子，接着恒生聚源把行情数据，行业资讯等数据补充进数据池，经过建模分析后，得出包含多个维度的“行业景气指数”。...我们再次回看大数据*基金的生产模式可以发现，蚂蚁金服起到的作用是提供一个金融信息服务平台，这是一个大的数据池，同时配备处理大数据所必不可少的云计算运算能力和建模能力。 ? 具体说，作用如下： ?
所以，作为一个程序员，只有真实的数据和理性的逻辑推理可以依赖。无法预测未来，但你可以总结历史规律。 那么问题来了。首先，你得有历史数据。 老办法，先去找搜索引擎。...搜一下诸如“股票历史数据”、“历史K线数据”之类的关键词，就会有不少文章，里面提到一些可以使用的接口。实时行情接口有些是需要购买，但历史数据没有很高的时效性，可以找到不少免费的。...试了可用，于是就用它来抓取历史数据。...抓取一些老股票的数据时，数据只到 2014 年。估计是因为数据量太大，到了默认上限。于是去和讯网上看了下网页上请求时的参数，发现有一个 start 的参数。...这些数据是“除权”后的数据，也就是说有的时候上一个条数据的最新价是 30，但下一条的昨收盘就变成 20 了。这对于之后分析历史数据是有很大影响的。
； 然后按顺序写入newexcel表格中的B{2}到I{2}单元格（2为变量，从2开始，间隔+1）； 打印出写入newexcel表格的内容； 注意： 每一步都要输出信息； 运行后，虽然合并了表格，但是数据是不对的...，第二行数据没有。...ChatGPT的回复是：读取CSV文件的数据时，df.iat[row, col]中的行号（row）应从0开始； 修正后，又出现问题。ChatGPT的回复是：需要在提取数据时检查数据框的维度。
工作任务：批量下载东方财富choice中的创投数据 在ChatGPT中输入提示词： 你是一个Python编程专家，写一个关于键盘鼠标自动化操作的Python脚本，具体步骤如下： 打开东方财富choice...鼠标左键点击坐标：254, 16；(注释：股票) 暂停5秒，等待程序加载； 鼠标左键点击坐标：308, 331；(注释：专项应用) 暂停5秒，等待程序加载； 鼠标左键点击坐标：472, 472；(注释：创投数据...open_program(program_path) click_at(254, 16, "股票") click_at(308, 331, "专项应用") click_at(472, 472, "创投数据
其实除了盯下日志，也可以用来玩游戏，甚至可以用来炒股盯盘。可怜的老板还以为你在工作呢，呵呵。 ? 在命令行版星球大战 # 挖坟会不会被打？中，我们看到有通过telnet看电影的这种神器。...mop是一个用go语言写的看盘工具，不过数据来自雅虎，对大A支持不够。 ?
日线数据是股票每日收盘后的信息。这块数据不用实时抓取，所以并不占用宝贵的交易时间的资源。于是我们抓取完数据后直接往切片后的数据库中保存。...这儿要非常感谢网易，它提供一个通过指定起始和截止日期的接口拉取历史日线数据。如果起始和截止选择今天，则拉取的是今天的数据。...之后我们有数据了，则从有数据的最后一天开始算起。... 均线数据按类型分可以分为成交量均线和价格均线。...这是我在对比我的数据和同花顺的数据之后得出的。于是只能再改改。 基本思路是要计算一个因子，因子=前一日数据中收盘价/今日数据中昨日收盘价。
作者：唐莹莹 摘自：澎湃新闻（微信ID: thepapernews） “跟着新闻联播炒股有肉吃。”对于这句话，很多老股民耳熟能详。...看看最近几次神预测吧 每天晚上20时20分，越来越多的投资者开始守着一项新的“炒股神器”——新闻联播情绪指标（以下简称“情绪指标”），因为该指标精准地预测了5月5日的大跌；而在此之前，该指标也一直显示着与市场...夏潇阳对新闻联播数据的采集源来自新闻联播官方披露的新闻关键词，如强调、切实、稳增长、调结构等。通过公式对这些热词测算，就能得到当日的情绪指标。 ?...数据显示，大多数时候，当沪深300指数出现多空拐点时，情绪指标30日均线会提前反应，不过，“黑天鹅”的发生则不可避免。
数据描述就是要用一定的方法来提取少量信息，从而让人更容易明白数据的含义。数据描述的方法可以分为两大门类，即群体参数和数据绘图。两者都起到了简化信息作用，从而让数据变得更加易读。...在通过数据绘图，我们可以将数字转换的几何图形，让数据中的信息变得更容易消化。数据绘图曾经是个费时费力的手工活，但计算机图形的发展让数据绘图变得简单。...散点图通过在二维平面上标记出数据点来呈现数据。如果我们想研究湘北高中学生身高和体重的关系，就可以在表示“身高-体重”的二维平面上，标记出所有成员的数据： ?...如果外推1.5个箱子位置超出了数据库的极值，那么边界换成极值的高度。否则，将有数据点超出边界。这些数据点被认为是异常值（outlier），用散点的方式画出。...因此，同一个数据库，甚至同一种绘图形式，都可能产生多种多样的数据图像。不同的数据图像，在传递信息的有效性上，会产生不小的差别。怎样画好数据图呢？我根据自己的经验，总结了下面几个标准： 确定目的。
数据描述就是要用一定的方法来提取少量信息，从而让人更容易明白数据的含义。数据描述的方法可以分为两大门类，即群体参数和数据绘图。两者都起到了简化信息作用，从而让数据变得更加易读。...，下四分位数是按照25%划分数据，上四分位数是按照75%划分数据。...在通过数据绘图，我们可以将数字转换的几何图形，让数据中的信息变得更容易消化。数据绘图曾经是个费时费力的手工活，但计算机图形的发展让数据绘图变得简单。...散点图通过在二维平面上标记出数据点来呈现数据。如果我们想研究湘北高中学生身高和体重的关系，就可以在表示“身高-体重”的二维平面上，标记出所有成员的数据： ?...因此，同一个数据库，甚至同一种绘图形式，都可能产生多种多样的数据图像。不同的数据图像，在传递信息的有效性上，会产生不小的差别。怎样画好数据图呢？我根据自己的经验，总结了下面几个标准： 确定目的。
ChatGPT炒股：自动批量提取股票公告中的表格并合并数据 在很多个股票公告中，都有同样格式的“日常性关联交易”的表格，如何合并到一张Excel表格中呢？...； 然后按顺序写入newexcel表格中的B{2}到I{2}单元格（2为变量，从2开始，间隔+1）； 打印出写入newexcel表格的内容； 注意： 每一步都要输出信息； 运行后，虽然合并了表格，但是数据是不对的...，第二行数据没有。...ChatGPT的回复是：读取CSV文件的数据时，df.iat[row, col]中的行号（row）应从0开始； 修正后，又出现问题。ChatGPT的回复是：需要在提取数据时检查数据框的维度。
再比如我们需要修改数据库中表结构，我们也不用停止服务修改代码来保证数据格式的一致性。 我们程序需要知道配置文件是否被修改。如何去做？...在《码农技术炒股之路——架构和设计》一文中，介绍了我们将基于APScheduler实现任务调度功能。...经过测试，《码农技术炒股之路——配置管理器、日志管理器》中单例的实现可以保证上面这个方法获取的是同一个对象，而网上其他单例模式则不行。 获取对象后，我们要组装出要执行的命令。
根据数据收集的算法、调研问题的类型和调研的目标，分析样本调研数据的方法各不相同。这篇文章会简洁明了的分析调研数据过程中的各种问题，同时会说明在一个完整的调研数据分析报告中应该包含什么。...调研数据分析的过程应该包括以下步骤： 1、数据验证和探索性分析 2、确认性分析 3、数据解释 4、数据分析报告存档（用于将来的分析） 数据验证和探索性分析 数据验证主要负责确认调查问卷被正确的完成，并且调研数据具有一致性和逻辑性...一旦上述的检验内容都已完成，探索性数据图表就可以产生。...数据解释 当你完成数据分析，是时候考虑一下调研的结果对于手头上的问题有什么意义。以下是你在数据解释的过程中应该注意的方面： 1、清楚的阐述调研结果有什么实质性的发现。...3、运用调研中的定量数据对于目标群体进行定量预测。 4、解释你现在的数据分析结果对于调研目标的意义，而且如果需要的话，对下一步调研的步骤给予建议。
根据数据收集的算法、调研问题的类型和调研的目标，分析样本调研数据的方法各不相同。这篇文章会简洁明了的分析调研数据过程中的各种问题，同时会说明在一个完整的调研数据分析报告中应该包含什么。...调研数据分析的过程应该包括以下步骤： 1、数据验证和探索性分析 2、确认性分析 3、数据解释 4、数据分析报告存档（用于将来的分析） 1数据验证和探索性分析 数据验证主要负责确认调查问卷被正确的完成，并且调研数据具有一致性和逻辑性...以下是一些建议性的数据验证的内容，你应该去做但并不局限于此： 1、超出范围的录入：这些通常是由于较差的问卷设计或者数据输入错误。...3数据解释 当你完成数据分析，是时候考虑一下调研的结果对于手头上的问题有什么意义。以下是你在数据解释的过程中应该注意的方面： 1、清楚的阐述调研结果有什么实质性的发现。...(Via:36大数据)
在交易时间，更快地抓取数据，实时抓取服务和实时数据库操作会占满机器的CPU资源。过了交易时间后，则会通过离线计算服务，把实时数据库中的数据经过计算保存到历史数据库中。...首先，我希望在有限的资源内，实时数据获取的频度高、间隔短。这样可以保证我们数据的时效性。每次拉取时，我都是获得尽可能多的数据，然后经过简单的数据分拆，通过批量insert的方式保存到数据库中。...由于实时数据库中同类型数据都保存在一张表中，也就是说所有股票的同类型数据都在一张表中，这种设计就是为了高效记录实时数据。而在对历史数据的分析时，这样的设计明显不合适。...目前我的设计中，一支股票有四张表保存不同的信息，分别是：历史真实数据、除权后数据、主力行为数据和交易详情数据。以A股3千多支股票计算，则会产生一万多张表。...数据库管理器。我们的数据被分布在不同的数据库中，所以需要一个独立的数据库管理模块让底层分库等复杂操作对上层隐藏。 普通任务管理器。
首先要声明的就是，千万级数据对于MySQL来说就是不太合理的一个存在。优化MySQL千万级数据策略还是比较多的。...当MySQL一张表的数据达到千万级别，会出现一些特殊的情况。这里主要是讨论在比较极端的情况下SQL的优化策略。先来个千万级数据通过存储过程传递函数制造1000万条数据。...第二次优化：覆盖索引覆盖索引是指一个索引包含了查询所需的所有列，从而可以满足查询的要求，而不需要访问实际的数据行。通常情况下，数据库查询需要根据索引定位到对应的数据行，然后再从数据行中获取所需的列值。...第三次优化：减少数据量减少数据量在业务上来说就是移除不必要的数据，或者可以在架构设计这块做一些工作。分表就是这个原则。通过这个方式能把千万的数据量减少到百万甚至几十万的量。提升的查询速度是可以想象的。...）中查找完整的行数据的过程。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
