首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【观点】漫谈推荐系统及数据库技术()——分布式数据库技术

【导读】推荐系统和数据库技术,一个是偏机器学习数据挖掘相关的应用,一个是偏系统存储相关的技术,这两者在实际中有很大的应用。...上一次专知推出漫谈推荐系统及数据库技术(一),大家反响热烈,特别是很多工业界的人士点赞支持,今天算法工程师宋强继续漫谈自己一些工作的独到见解,欢迎阅读~ 漫谈推荐系统及数据库技术(一) 蹉跎岁月,年华易逝...再次闲聊下分布式数据库技术,博各位一阅。 ▌分布式数据库 ---- 相较于传统的单机数据库,分布式数据库有以下的几个特点: ? 为了更好支撑分布式事务,分布式数据库的研发人员做了很多的方案寻优。...Spanner是Google的全球级的分布式数据库 (Globally-Distributed Database) 。...当然,者本质上是相辅相成的。 但是,即便诚如原子钟,也会有偏差,只不过这个偏差是可预期的(10ms)。

1.3K90

“热搜”中的分布式数据库 | Q推荐

1 话题中心的分布式数据库 2021 年以来,业内关于分布式数据库的消息不休。...Oracle,分布式数据库是否可行,转为数据库迁移的最佳路径是什么,有哪些行业实践或者说高效做分布式数据库集群运维的手段、监控的手段等。...此时金融行业开始充分尝试分布式数据库的大型企业也越来越多,比如工商银行、建设银行、交通银行、民生银行等。多方面原因下,四川农信增强了对分布式数据库,特别是 OceanBase 的信心。...在桂俊鸿看来,分布式数据库备受关注根本原因在于容灾、多活和强一致性的特性。 3 从传统数据库到分布式数据库,传承还是升级?...随着分布式数据库的不断迭代和大规模应用,相信上面提到的一些弱项会在未来进一步得到完善,分布式数据库的应用也会越来越广泛。

58130
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    分布式数据库在金融核心场景的落地实践 | Q推荐

    具有高性能、可扩展、高可用等特性的分布式数据库是金融行业数字化转型的重要支撑。作为金融企业或金融行业从业者,如何在不同的应用场景下,做好分布式数据库的选型和落地?...做好分布式数据库金融应用的长期规划,加大研发与应用投入力度。韩锋认为,当前分布式数据库研发应用的成效就是看金融企业内部是否能够平稳的推进分布式数据库的使用。...痛点:对企业来说,开源和商业,到底怎么选?...第,成熟度有待完善,但时不我待提前规划。分布式数据库确实是一种新兴技术,成熟度有待完善。但企业在这个过程中不能“等靠要”,还是得参与进去,不断打磨,才能越用越好。 第三,国产数据库百花齐放。...第类是日终批处理场景,例如计提结息、总分核对、会计科目记账、借贷平衡检查这类时效性要求低一点的业务。在批量提交 SQL 时并发量大,单位时间对单表的读写量大。

    42220

    个性化推荐系统()---构建推荐引擎

    当下推荐系统包含的层级特别的多,整个线上推荐系统包含:最上层线上推荐服务、中层各个推荐数据召回集(数据主题、分类池子)、底层各种推荐模型。        ...推荐系统介入线上各种业务,推荐系统当下已经介入内容方面:文章、问答、评论等各个业务系统,商品sku:纯商品、消息push、素材,混合多个业务同时推荐。...推荐引擎是一定要搞得了,业务发展极快,哪个业务都要接入个性化推荐。构建推荐引擎没什么好探讨的了,现在需要思考和探讨的是怎么构建推荐引擎。         从哪个角度思考呢?...第步根据已拉取类别召回集,拉取素材召回集,例如:文章、sku等等,构建素材过滤集合,已购买、已曝光、已点击等等。通过过滤集合过滤素材召回集。        ...个性化推荐是一个正在蓬勃发展的技术,推荐引擎会不断吸收内部、外部,以及其他领域的结果不断进行完善。

    1.8K00

    金融场景下,分布式数据库如何精准选型、快速落地?| Q推荐

    具有高性能、可扩展、高可用等特性的分布式数据库正在成为金融行业数字化转型的重要支撑。 分布式数据库在金融场景落地中,亟需解决金融业务面临的数据规模增长、数据结构多样化等难点。...作为金融企业或金融行业从业者,如何在不同的应用场景下,做好分布式数据库的选型和落地?...19:35-20:10《国产金融级分布式数据库在金融核心场景的探索实践》 分享嘉宾:贾瓅园 议题简介:从金融级场景到传统金融核心系统场景,在云化的技术浪潮下,国产分布式数据库得以应用在对数据库最高要求的金融行业实现应用...本次分享,将围绕“国产金融级分布式数据库在金融核心场景的探索实践”,与行业探讨当中的经验方案,并展望未来前沿实践方向。...20:10-20:45《金融应用对接分布式数据库》 分享嘉宾:孙亮 议题简介:金融系统在使用分布式数据库时,可能会遇到哪些问题?会面临哪些改造?会对数据库有哪些要求?

    36720

    协同过滤推荐算法(

    、基于物品的协同过滤算法 基于物品的协同过滤算法(Item-CF,下面简称Item-CF算法)与User-CF类似,协同过滤算法的核心在于找相似性。...打个比方,例如某人购买了一件商品,那么我们可以另外推荐一款类似且该用户之前从未购买过的商品给他,原因就是这两件商品相似,用户很可能会购买。 ?...假设我们知道小丽之前在某宝上购买了一件H&M的T恤,那么如果平台要再推荐另外一件风格且价格接近的T恤给她,推荐哪个牌子的T恤比较合适呢?...T恤的话,最适合推荐的就是优衣库,其次是韩都衣舍和ONLY,李宁相对不适合推荐。...在实际的推荐系统中,除了要考虑相似性以外,还要考虑很多其他的因素,例如召回的多样性、用户的惊喜度以及冷启动等问题都是需要考虑的。

    79720

    新闻推荐实战():MongoDB基础

    前文 万字入门推荐系统 提到了后续内容围绕两大系列:推荐算法理论+新闻推荐实战。本文属于新闻推荐实战—数据层—构建物料池之MongoDB。...BSON 是一种类似 JSON 的进制形式的存储格式,是 Binary JSON 的简称。...该方法第一个参数为查询的条件,第个参数为要修改的字段。 如果查找到的匹配数据多于一条,则只会修改第一条。...sort() 方法第一个参数为要排序的字段,第个字段指定排序规则,1 为升序,-1 为降序,默认为升序。...switched to db pydb > show tables system.indexes > 总结 本文主要介绍了MongoDB数据库的相关概念及基本操作,为了更好的了解MongoDB在新闻推荐系统中的应用

    12.4K10

    DC 2021 分布式数据库开发者大会成功举办,“数聚时代”,共建分布式数据库未来 | Q推荐

    开源数据库热度上升 DB-Engines 今年 12 月份数据库排名显示,传统数据库霸主 Oracle 依然稳居榜首,但据去年同期分数下跌 43.86;知名开源数据库 MySQL 位列第,分数较去年同期下跌...而这其中,分布式数据库的表现尤为亮眼,很多业内人士将这一年视为分布式数据库的元年。 分布式数据库由多个相互连接的数据库组成,这些数据库组合在一起形成一个面向用户的单个数据库。...此外,日照还宣布 OceanBase 社区版 3.1.2 正式发布,包括三大核心技术升级:第一、秒杀性能提升 300%,第、生态适配全面加速,支持 Hbase 对接能力;第三、推出全新社区版工具体系(...3 首个分布式数据库“海纳奖”正式揭晓 随着数字化转型进入深水区,基于核心系统的数字化升级成为了热门词,新型的分布式数据库正在成为数据库技术研究和应用的热点。...,推动分布式数据库产业的发展。

    63110

    SDCC上海站之数据库&架构峰会议题抢先看

    演讲议题:分布式数据库技术架构的演变与发展方向 议题简介: 分布式数据库技术架构分类; 企业为何需要分布式数据库分布式数据库的技术架构演变; 分布式数据库技术架构的未来方向。 7.胡东旭 ?...实时计算框架、推荐、算法和数据评估体系等相关技术。...蚂蚁金服支付清算平台架构师 王俊 2011年加入支付宝,现在是蚂蚁金服支付清算平台的架构师,这些年先后经历过双十一、双十二、支付宝新春红包等大型活动的稳定性保障工作,在复杂体系的稳定性保障积累了一定的经验...演讲议题:支付宝红包-双十一挑战与运对 议题简介: 2015年双十一支付宝交易支付峰值达到了8.59w/s,全天达到7.1亿笔交易。...基于上述技术,采用微服务架构,搭建了一站式配置、高可用的通用精准化推荐平台,通过可视化、友好的配置界面,统一化的对外服务推荐接口,成功解决了1号店网站的精准化推荐需求,极大的解放了开发人员的生产力,并且非常的方便维护

    1.5K20

    Podcasts推荐

    一直想写podcasts推荐期,迟迟没动手。 因为鸭梨山大呀!我上次热烈推荐了四个podcasts,后来竟然倒了三个,停更的停更,散伙的散伙,堪称播客界的巴克利/贝利。...Anyway听到有意思的podcasts还是要推荐一下,但行好事,莫问明天会不会倒闭。 3是个有趣的数字。 比如想快速了解新朋友和你多对味,可以讲3个段子,让他按照好笑程度排序,一般挺准的。...这次推荐3个podcasts,每个附3期episodes。 听一期不感兴趣可能是话题原因,两期无感可能是当天太阳黑子比较猛影响了喇叭磁场,三期都冇feel那肯定是不合个人taste了,果断放弃吧。...推荐episodes: Episode 222: Cowboy CTO and underpaid after promotion Episode 214: Jumping ship and saying...推荐episodes: What is a Life? Time Was Fun Emotional Backpacks How I Built This with Guy Raz ?

    43451

    分布式数据库在光大银行关键业务系统的应用探索

    我们可以用最高端的存储,用最好的设备,但他终究是一个单点,他的性能受整体的限制; 是热点资源。...第是银行业务发展本身的需要。...这一点可能是银行发展和互联网金融发展比较大的一个区别,在这里我跟大家分享一下,在过去两年双十一大促的时候,光大银行一直在双十一网联的统计中成功率排名第一,其实准确的说网联考核的不仅是成功率,成功率是 99.9%...去年双十一大促的时候,光大银行在全国银行中排名第一,是因为光大银行在整个双十一促销过程中只有三笔交易超时,所以整个系统对我们的要求是相当苛刻的。...第点是当前(2020 年)分布式数据库产品已经成熟了吗? 经过我们的调研对比测试,我们觉得这个答案是 No。

    1.4K41

    大变局:中国数据库市场拐点已来

    事实上,中兴通讯GoldenDB在中信银行用实际证明了自己,展现了国产分布式数据库完全具备在金融行业大型银行全面商用的能力。...最终有力地支撑起中信银行信用卡核心系统通过“双十一”和“双十二”两次大战考验。...以中兴为例,其在分布式数据库领域有着将近20年的研发投入,2014年开始启动金融级交易型分布式数据库产品(GoldenDB)的研发。...目前,GoldenDB已取得超过100+项核心专利,并且获得2019年Gartner OPDBMS魔力四象限推荐。 ? 但光有产品与技术是不够的,更需要抓住稍纵即逝的市场契机。...以金融行业的银行业为例,数字化运营开始成为所有商业银行的目标,商业逻辑、业务场景、管理架构正在加速重塑,像电商、移动支付、个性化推荐、智能投顾、智能客服、互联网金融等新兴业务与应用正在对银行包括数据库在内的

    1.1K30

    推荐系统】离线增量文章画像计算()

    配置好定时运行的函数 定义更新逻辑 编写APscheduler配置 增加打印日志添加(程序问题,离线更新文章画像流程进度) 2.7 Word2Vec与文章相似度 2.7.1 文章相似度 需求 首页频道推荐...:每个频道推荐的时候,会通过计算两两文章相似度,快速达到在线推荐的效果,比如用户点击文章,我们可以将离线计算好相似度的文章排序快速推荐给该用户。...词向量原理 统计语言模型:把语言(词的序列)看作一个随机事件,并赋予相应的概率来描述其属于某种语言集合的可能性 N-Gram 一元模型(unigram model):假设某个出现的概率与前面所有词无关 元模型...一次:1,1,2,1 次:2,3,2,1 上述重复操作的过程的结果:签名向量 M 2、对Signature每行分割成若干brand(一个brand若干行),每个band计算hash值,我们需要将这些hash...TFIDF与TextRank, 3、计算文章画像 4、计算新文章的向量,计算新文章相似的文章以及相似度 3.1 用户画像计算更新 3.1.1 为什么要进行用户画像 而构建用户画像,不仅可以满足根据分析用户进行推荐

    63510

    商业分析python实战():电影智能推荐

    步骤 1、获取数据; 2、数据探索分析; 3、构建智能推荐模型; 4、评估推荐系统模型。...NO.2 数据探索分析 导入的数据共有99416行,3列,第一列为用户id,第列为电影名字,第三列为打分。...NO.3 构建基于物品的协同过滤推荐模型 基于物品的协同过滤模型(ItemCF)通过分析群体用户的历史偏好,找到相似物品,然后根据个体用户的历史行为为其进行推荐,主要分为计算物品间相似度和生成推荐列表两个步骤...ItemCF可以离线计算,从而提高推荐效率,且利用历史行为进行推荐解释,结果更容易信服,但是推荐精度相对有限,且对于用户偏好的变化不敏感,实时推荐能力较弱。...用户调查:利用测试的推荐系统调查真实用户,观察他们的行为并回答相关问题,通过用户行为及反馈判断推荐系统好坏。 在线实验:将推荐系统投入实际应用,通过应用的转化指标评价推荐系统结果。

    23940
    领券