本文介绍在SpringCloud中使用Redis作为Pub/Sub异步通信、缓存或主数据库和配置服务器的三种场景应用。
YMatrix适用于各种规模设备的数据融合与物联网时序应用场景,本案例以具体的案例来说明YMatrix在PostGIS中的数据加载、处理和分析的能力以及时空数据的具体使用方法,首先我们先了解下PostGIS,然后再分享几个PostGIS在YMatrixDB的案例。
PG14的SEARCH和CYCLE新功能大大简化了递归查询的方式,本文给出一些基于旅行计划的示例。
其实,原先 Byzer 就已经可以通过几乎不需要编程就能完成整个机器学习的Pipeline,从数据加载,清洗,特征工程,模型训练对外提供端到端的 API 服务。具体的能力可以参考这篇文章: Byzer 机器学习最简教程(无需Python!) 当然这个系列还有特征工程,深度学习等等介绍,感兴趣看看。
VIPER架构模式是MVC或MVVM的另一种选择。虽然SwiftUI和Combine框架创建了一个强大的组合,可以快速构建复杂的ui和在应用程序中移动数据,但它们也面临着各自的挑战和对架构的看法。
项目中最常用到的就是一对多关系了。Code First对一对多关系也有着很好的支持。很多情况下我们都不需要特意的去配置,Code First就能通过一些引用属性、导航属性等检测到模型之间的关系,自动为我们生成外键。观察下面的类:
下面这个就是随机生成的Trips问价的部分截图,trip,中文意思就是旅程,其实就是车辆走过的轨迹。之前我们在router文件里面定义了车辆行驶的路径,很显然,相当费力气,需要一条一条的去规划,但是在trip文件中,我们只需要说明起始点就可以了,SUMO的duarouter.exe工具会自动计算最优化路径,并且生成router文件。这也就是为什么在教程一中我们randomTrips生成的是trip文件而不直接是router文件的原因。不可否认,SUMO的模块化工作是做的很细致的。
Python 数据科学教程:分析 Stack Overflow 2019 年 开发者调查表 https://www.youtube.com/watch?v=_P7X8tMplsw 在此 Python
在全球化战略的背景下,Trip.com作为一个面向国际市场的全球OTA平台,正努力推进国际化战略部署。Trip.com火车票正在积极投入资源和技术力量来拓展海外业务,通过将应用、数据部署新加坡、法兰克福等中心,从而给全球用户带来更好的购票体验和减少数据合规带来的风险。
最近由于业务上的需求,一张旧表结构中的数据,需要提取出来,根据规则,导入一张新表结构中,开发同学写了一个工具,用于实现新旧结构的transformation,
neo之前分享过一款小巧玲珑工具软件:tcping,即在tcp层进行端口的ping。
这两天发现了一款有趣的数据库DuckDB,它的设计思路来源于sqlite,但是与sqlite不同的是,sqlite是行式数据库,而DuckDB是列式数据库。除此以外,两者非常相似:两个都是基于本地文件系统设计的,都有着完整的数据库体系(客户端、SQL解析器、SQL优化器和存储引擎等等),安装和使用都非常方便。在一些数据分析场景下,比如临时跑个数,不想安装MySQL或者分布式数据库等,应该大有可为。下面基于DuckDB的官方文档和相关博客,做一些简单介绍。
元旦假期对 2022 年进行了一次回顾与总结,发现最近一年公众号基本上是处于停更的状态,今年希望有所改善吧。
传统关系型数据库有着很强的ACID特性,也决定了核心应用的首选地位,作为NOSQL数据库产品,要想与传统关系型数据库直接竞争,本质是不太可能,所以必然选择了另外一条协作辅助的路线,如Elasticsearch侧重多维度检索。
在本文中,我们将探讨如何使用Python和Pandas库来提取出租车行程数据。这个过程涉及到数据清洗、行程识别、以及行程信息提取等多个步骤。我们的目标是从原始的出租车定位数据中提取出每个行程的起始和结束时间、地点以及行程距离等信息。
Weiyi,携程资深数据开发,关注大数据相关技术,对大数据实时计算、流批一体等方面有浓厚兴趣;
我遇到的问题是写了一个HTML程序,结果在网页上面不能显示,原因是图片路径放置错了。
最近有个导数的需求,下图所示,将数据库A中表A三个月大约3000万数据,导入数据库B的表B,要求尽可能快地完成。这3000万数据,是相对静态的,三个月的数据,当前不会对其作增删改查操作。表B大约15个字段,都是普通的字符串类型,行长200字节左右。
1,ERWin:CA 公司出品的拳头产品, 强大的老牌数据库建模工具。它有一个兄弟是BPWin,这个是CASE工具的一个里程碑似的产品。目前的我使用的版本是4.0。ERWin界面相当简洁漂亮,也是采用ER模型,如果你是开发中小型数据库,极力推荐ERWin,它的Diagram给人的感觉十分清晰。在一个实体中,不同的属性类型采用可定制的图标显示,实体与实体的关系也一目了然。当然ERWin不仅是花花公子,它提供的功能如PowerDesian一样强大(不支持UML)。从我个人使用的感觉,ERWin不适合非常
cache是提高应用性能重要的一个环节,写篇文章总结一下用过的各种对于动态内容的cache。 文章以Nginx,Rails,Mysql,Redis作为例子,换成其他web服务器,语言,数据库,缓存服
在公司内部,我们数据团队有幸与顺风车业务线深入合作,在满足业务方实时数据需求的同时,不断完善实时数仓内容,通过多次迭代,基本满足了顺风车业务方在实时侧的各类业务需求,初步建立起顺风车实时数仓,完成了整体数据分层,包含明细数据和汇总数据,统一了DWD层,降低了大数据资源消耗,提高了数据复用性,可对外输出丰富的数据服务。
“ 编程某种意义上是一门『手艺』,因为优雅而高效的代码,就如同完美的手工艺品一样让人赏心悦目。 ” 致“匠人” 数字是几乎所有编程语言里最基本的数据类型,它是我们通过代码连接现实世界的基础。在 Python 里有三种数值类型:整型(int)、浮点型(float)和复数(complex)。绝大多数情况下,我们只需要和前两种打交道。 整型在 Python 中比较让人省心,因为它不区分有无符号并且永不溢出。但浮点型仍和绝大多数其他编程语言一样,依然有着精度问题,经常让很多刚进入编程世界大门的新人们感到困惑:"W
本文示范如何使用OpenMLDB和 Byzer-lang 联合完成一个完整的机器学习应用。Byzer-lang 作为面向大数据和AI的一门语言,通过 Byzer-Notebook 和用户进行交互,用户可以轻松完成数据的抽取,ETL,特征/模型训练,保存,部署到最后预测等整个端到端的机器学习流程。OpenMLDB在本例中接收Byzer发送的指令和数据,完成数据的实时特征计算,并经特征工程处理后的数据集返回Byzer,供其进行后续的机器学习训练和预测。
在Pandas 2.0发布以后,我们发布过一些评测的文章,这次我们看看,除了Pandas以外,常用的两个都是为了大数据处理的并行数据框架的对比测试。
距离上次更新已经过去了一个半月之久,通过与各位读者朋友交流,发现有不少地理和gis的朋友关注我的公众号,可能是之前写的文章多与gis有关
序言 2021年仍然是艰难的一年。反复的疫情和全球经济的不确定性,让几乎所有对旅游业不利的因素都在释放。但于变局中开新局,在危机中育新机,旅游业人带着穿越寒冬的信念,奋力前行。携程技术人则“深耕国内,心怀全球”,切身体会到反复疫情为用户出行带来的困难,我们重点提升服务效率,推动进一步化繁为简并提高灵活性,加强系统的自动化程度,加快对用户需求的响应。 移动端的跨端技术深入进一步赋能业务,React Native、Flutter、小程序等跨平台框架将动态化的能力最大化的支撑业务,带来业务迭代周期缩短、开发效率的
ber的Schemaless数据库是从2014年10月开始启用的,这是一个基于MySQL的数据库,本文就来探究一下它的架构。本文是系列文章的第二部分;第一部分是关于Schemaless的设计。 在《Mezzanine项目——Uber的超级大迁移》一文中,我们描述了如何将Uber的核心trip数据从一个单独的Postgres实例迁移到Schemaless这个可扩展与高可用的数据库中。然后对Schemaless进行了简单介绍,包括其发展决策过程、整体数据模型,并介绍了Schemaless的trigger与索引等
Jeff,携程前端开发经理,对前端自动化技术感兴趣,推动了团队使用cucumber进行UI自动化测试。Harry,携程前端开发工程师,秉持“Don’t make me think“的理念向用户交付页面、向同事协作工程。
作者简介 Logan,携程移动开发专家,关注大前端技术领域,对APP网络、性能、稳定性有深入研究。 Trip.com APP(携程国际版)主要服务于海外用户,这些用户请求大多需要回源至国内,具有链路长、网络不稳定、丢包率高等特性。为了解决用户请求耗时长、成功率低的痛点,在2021年初我们尝试引入QUIC来提升网络质量。经过近一年的优化实践,取得了显著的成果:网络耗时降低20%,成功率提升至99.5%,极大地改善了用户体验。本文将从客户端的视角详细介绍QUIC的应用和优化经验。 一、背景 Trip.com
通常的命名方式是:ODS_应用系统名(或缩写)_数据库类型_(数据库名称可省略)_数据表名_加载方式(增量还是全量),表名不能太长,一般不超过30字。如:
序言 这是 “Python 工匠”系列的第 3 篇文章。 数字是几乎所有编程语言里最基本的数据类型,它是我们通过代码连接现实世界的基础。在 Python 里有三种数值类型:整型(int)、浮点型(float)和复数(complex)。绝大多数情况下,我们只需要和前两种打交道。 整型在 Python 中比较让人省心,因为它不区分有无符号并且永不溢出。但浮点型仍和绝大多数其他编程语言一样,依然有着精度问题,经常让很多刚进入编程世界大门的新人们感到困惑:"Why Are Floating Point Number
用户自定义 bridge 网络是在生产环境中推荐到最佳方式,因此这篇教程要特别注意。
数字是几乎所有编程语言里最基本的数据类型,它是我们通过代码连接现实世界的基础。在 Python 里有三种数值类型:整型(int)、浮点型(float)和复数(complex)。绝大多数情况下,我们只需要和前两种打交道。
实习的时候被问过一个问题,为什么 redis 会有 pipline,mysql 会有 batch,这些东西都具有批量操作的共性,是什么原因让我们在处理数据时需要批量操作?
專 欄 ❈LittleCoder,维护微信个人号python接口:http://itchat.readthedocs.io狂热bbt粉丝,业余写玩具。 GitHub ID:littlecodersh❈ Trip 是一个协程的网络库,如 Requests 一般简单的操作,程序不再被网络阻塞。你可以在这里获取本项目的源码:github (https://github.com/littlecodersh/trip/),兼容 Python 2.7+的所有版本,主流三大操作系统。基于两大依赖包:TRIP: Torn
自从氪金购买了 Car Scanner Pro 安卓应用后,每次出行都打开 Dashboard 放在手机后台,这样 Recorder 就可以自动记录相关的 PID 和值了
虽然在 WWDC 2023 上,苹果将主要精力放在介绍新的数据框架 SwiftData 上,但作为 SwiftData 的基石,Core Data 也得到了一定程度上的功能增强。本文将介绍今年 Core Data 获得的新功能。
最近,留意到 MinIO 官方博客的一篇题为“在对象存储上实现 POSIX 访问接口是坏主意”的文章,作者以 S3FS-FUSE 为例分享了通过 POSIX 方式访问 MinIO 中的数据时碰到了性能方面的困难,性能远不如直接访问 MinIO。在对结果进行分析时,作者认为是 POSIX 本身存在的缺陷导致的性能问题。这个结论与我们既有经验有一定出入。
此篇博客主要是讲述MySql(仅限innodb)的两阶段加锁(2PL)协议,而非两阶段提交(2PC)协议,区别如下:
DSL(domain specific language),即领域专用语言:专门解决某一特定问题的计算机语言。由于它是以简洁的形式进行表达,整体上直观易懂,使得调用代码和读代码的成本都得以降低,即使是不懂编程语言的一般人都可以进行使用,所以近年来频频被提起,颇受关注。
$value['article_content'] = htmlspecialchars($post['article_content']);
社招的面试难度与校招面试还是有一定的差别,校招因为没有实际的工作项目,会更考察基础内容多一些。
在使用python后台调用 MySQL数据库的时候会有 「%」的关键字冲突问题,比如 用Python后端读取 MySQL 中记录的逻辑,在 impala端执行,其中涉及到模糊匹配的 「%」会报错
SQL (stands for Structured Query Language)
接触到 JDBC 的 Fetch Size 这个属性缘起一个性能问题,项目中需要将一个有千万级数据量的表中的记录导出到文件中去。按照正常的路数,先初始化连接;接着写好 SQL 语句,比如SELECT * FROM DIM_USERS;然后启动查询,拿到 ResultSet,最后遍历 ResultSet 将每行记录输出到文件中去。可在接下来的测试中,发现性能并不理想,在表中数据量小的时候,执行速度尚可接受,可是在进行大数据量压力测试的时候,发现代码往往要执行40分钟以上,这在实际生产环境上是万万不可接受的。
领取专属 10元无门槛券
手把手带您无忧上云