腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

ThoughtWorks

专栏作者

907

文章

737619

阅读量

114

订阅数

搜索与推荐那些事儿

搜索引擎大数据推荐系统

搜索与推荐的区别 1. 场景需求不同搜索的场景故名思义，就是用户提供想要寻找的内容的描述，系统返回给用户匹配到的结果，常见的场景如文字输入框的搜索，图片搜索，听音识曲，标签筛选等，看似很多场景，其实只是用户输入内容的形式不同。推荐的场景我们常见的有各大App首页的个性化推荐（如猜你喜欢/每日歌曲推荐），选择页面的关联推荐（买了还买，看了还看，买了它的用户还买等等）等，推荐的场景更加的丰富，因为没有用户提供的内容的限制，场景更具多样性，推荐方法也多种多样，例如基于内容的推荐，基于用户行为的推荐，协同过滤等等

2022-06-10

7090

内含赠票｜探秘AI时代的技术战略演进，A2M峰会全日程排期来了！

神经网络深度学习人工智能大数据企业

当前，云应用正从消费互联网向产业互联网渗透，云和AI已成为数字经济发展和企业转型的必选项。据《中国信通院》2021年8月发布数据显示，中国数字经济增加值位居世界第二，规模为5.4万亿美元，GDP占比由14.2%提升至38.68%。同期，由国内某咨询机构发布的《2021中国企业数字转型指数研究》指出，中国企业的数字化转型成效显著的比例持续上升，由去年的11%跃升至16%。至2021年8月，云计算在互联网行业的应用占比已达到60.3%，云与计算正在加速向传统产业延伸，云原生2.0时代已来。云原生的1.0时代，

2022-04-19

4280

高效编写测试用例的技巧

uml 大数据 hadoop openapi

本话题暂不探讨是否有必要编写详细的测试用例，在确定要交付详细的测试用例这个前提下，分享如何更高效地完成测试用例的编写。

2022-02-16

5980

MPP架构与Hadoop架构是一回事吗？

hadoop TDSQL MySQL 版数据库大数据 sql

计算机领域的很多概念都存在一些传播上的“谬误”。MPP这个概念就是其中之一。它的“谬误”之处在于，明明叫做“Massively Parallel Processing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑——难道Hadoop不是“大规模并行处理”架构了？很多人在对比两者时，其实并不知道MPP的含义究竟是什么、两者的可比性到底在哪里。实际上，当人们在对比两者时，与其说是对比架构，不如说是对比产品。虽然MPP的原意是“大规模并行处理”，但由于一些历史原因，现在当人们说到MPP架构时，它们实际上指代的是“分布式数据库”，而Hadoop架构指的则是以Hadoop项目为基础的一系列分布式计算和存储框架。不过由于MPP的字面意思，现实中还是经常有人纠结两者到底有什么联系和区别，两者到底是不是同一个层面的概念。这种概念上的含混不清之所以还在流传，主要是因为不懂技术的人而喜欢这些概念的大有人在，所以也并不在意要去澄清概念。“既然分布式数据库是MPP架构，那么MPP架构就等于分布式数据库应该也没什么问题吧。”于是大家就都不在意了。不过，作为一个技术人员，还是应该搞清楚两种技术的本质。本文旨在做一些概念上的澄清，并从技术角度论述两者同宗同源且会在未来殊途同归。

2021-10-22

2.3K0

浅谈数据流水线

大数据数据分析编程算法任务调度数据处理

当下我们听过很多热门的技术名词，例如：机器学习模型、推荐系统、高管驾驶舱、BI等等，在这些技术背后一个关键的角色就是：数据。这些数据通常不是单一的，原始的数据，而是需要从多个数据源获取，并经过复杂的提取、清洗、处理、加工等过程才能最终提供真正的价值。我们常说“数据是未来的石油”，其实也就是在说，数据并不是“开采”出来就可以直接提供价值的，而是要经过若干流程的“加工”和“提纯”才可以产生价值。而对于数据的加工和处理流程，我们通常将其称为数据流水线，也就是 Data Pipeline。

2021-09-15

3590

分布式计算框架状态与容错的设计

flink 大数据 spark hadoop 存储

对于一个分布式计算引擎（尤其是7*24小时不断运行的流处理系统）来说，由于机器故障、数据异常等原因导致作业失败的情况是时常发生的，因此一般的分布式计算引擎如Hadoop、Spark都会设计状态容错机制确保作业失败后能够恢复起来继续运行，而新一代的流处理系统Flink在这一点上更有着优秀而简约的设计。

2021-04-16

4260

ThoughtWorks数据智能读书雷达

编程算法大数据深度学习机器学习学习方法

ThoughtWorks数据智能事业部自三年前成立以来，就致力于将ThoughtWorks在敏捷软件开发、精益数字化产品创新等工作方法与数据智能领域的成熟实践结合，为客户解决新形势下如何实现数据驱动的智能企业的问题，为行业带来创新的解决数据问题的方法和实践总结。

2021-03-10

5280

大数据项目中的QA需要迎接新的挑战

数据处理大数据

根据IDC全球半年度大数据和分析支出指南的最新预测，到2022年全球大数据和业务分析解决方案的收入将达到2600亿美元。在大数据和业务分析解决方案上投资增长最快的行业包括银行（复合年增长率13.3%）、医疗、保险、证券和投资服务、电信，每个行业复合年增长率都是12.8%。由此可见，大数据类项目在未来的地位将会越发重要，而作为QA，在大数据项目急速扩张的大背景下，也将迎来新的机遇和挑战。

2020-02-19

4160

揭秘⼤数据安全

云镜（主机安全）大数据网络安全数据处理数据安全

2018年8月28日，网传华住旗下多个连锁酒店开房信息数据遭泄露售卖。泄露的数据包含汉庭、美爵、禧玥、漫心、诺富特、美居、CitiGo、桔子等酒店用户详细信息。涉及53G华住官网注册资料，大约1.23亿条记录；22.3G酒店入住登记资料，约1.3亿人身份证信息；66.2G酒店开房记录，约2.4亿条。随后华住集团发布申明已开始核实事件真实性，并已报警处理。

2019-07-30

7140

线上分享 | 优质课程「DevOps从入门到精通」第三期：虚拟化技术与虚拟机的构建与管理

devops 微信大数据

在前两期线上课程中，我们已与大家一起从头认识『DevOps』文化的起源以及如何编写漂亮的持续交付流水线，本期课程，让我们一起来聊聊虚拟化技术与虚拟机的构建与管理那些事儿。

2018-07-23

6790

一场国际水准的技术大会，一次领域驱动设计（DDD）实践者们的狂欢！

架构设计大数据微服务

架构是为了解决业务问题而产生的，没有了业务，架构就没有了存在的前提！在解决同一个业务问题的前提下，更高效更低成本的架构，会淘汰低效高成本的架构。DDD让架构更高效，打破了架构和业务之间的隔阂。其流行的意义就在此。

2018-07-23

8230

成都活动 | 5月19日「DnA数字不会说谎：精益数据分析」

数据分析大数据数据可视化

然而，在如今的互联网时代，我们所面对的不是数据匮乏，而是数据过剩。如何能在纷繁复杂的数据中抽丝剥茧，读懂数据背后的真实意义？

2018-07-23

5800

告别野蛮生长，互联网金融布局风控 | \b报道

大数据安全

1月9日，ThoughtWorks中国区交付服务总监施韵涛在【消费信贷风险，审批实物沙龙】分享了《互联网金融交易平台建设现状及趋势》的话题。近日，演讲内容被《第一财经》报道，希望更多对互联网金融感兴趣的朋友能够看到此文，得到启发。 (图片为施韵涛参加2015 ThoughtWorks Live China所摄）下文转载自一财网，点击阅读原文即可跳转自原出处。 “有实力的企业正走向更完善的体系：他们的交易平台不是孤立的，而是先有好的风控平台，基于风控做资产交易平台，再做互联网金融平台，这才是互联网金融的精

2018-04-20

1.2K0

云与大数据，商业创新的加速杠杆 | TW商业洞见

科技即商业 TECHNOLOGY IS BUSINESS 引言「互联网+」的浪潮正在冲击传统的商业模式和商业组织。支付宝与天弘基金开发的余额宝在短短一年之内，吸引用户数超过1个亿，资金量超过5742亿，一跃成为全国最大的货币基金。2013年成立的菜鸟网络将传统的「四通一达」快递公司整合进其统一信息云平台，迄今已经实现了全中国超70%快递包裹的跟踪管理。微信在短短三四年之内，月活用户量达到6亿，2014年春节顶峰时间每分钟微信数量超过1000万条，与此同时，传统电信运营商的短信量剧减41.57% 。这些新

2018-04-20

8570

半个世纪前的大数据时代｜洞见

大数据数据分析

马云在最近的一次公开演讲中谈到市场经济与计划经济的比较：“我们过去的一百多年来一直觉得市场经济非常之好，我个人看法是未来三十年会发生很大的变化，计划经济将会越来越大。为什么？因为数据的获取，我们对一个

2018-04-17

6720

敏捷教练的六顶帽子｜洞见

引子随着移动互联网的发展，大数据、云、人工智能等IT技术的持续火热，越来越多人开始意识到我们正身处由IT技术引发组织变革的大时代中，所以才会有Technology is Business或Tech@

2018-04-17

6400

常用的几种大数据架构剖析 | 洞见

大数据数据分析数据挖掘 hadoop

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop

2018-04-17

1.3K0

TW洞见〡大数据全栈式开发语言 – Python

python 大数据 devops

文章作者来自ThoughtWorks：佟达，图片来自网络。前段时间，ThoughtWorks在深圳举办一次社区活动上，有一个演讲主题叫做“Fullstack JavaScript”，是关于用Jav

2018-04-16

7090

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态