腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

京东技术

专业的京东技术分享与交流平台

专栏作者

412

文章

564415

阅读量

138

订阅数

大数据实时链路备战——数据双流高保真压测

大数据集群流量事件数据

Tech 导读在企业的业务经营中，实时数据是营销、运维、决策的重要支撑，实时数据链路基本是所有大公司所拥有的，无论是否采用了中台模式，本文从如何建设实时数据双流、数据双流的建设标准，以及数据双流的压测备战三方面进行了详细的论述。

2023-09-12

2640

基于商业版Hadoop搭建的数据仓库解决方案

大数据数据处理 node.js hadoop 企业

Tech 导读本方案以某金融企业大数据平台建设方案为例，面对企业内部的数据现状提出合理化建议，基于商业版Hadoop数据平台搭建数据仓库系统，实现数据资产的充分利用，结合当时现状推荐国产自主研发商业版Hadoop平台TDH做为基础平台，以下为方案概述。

2023-01-05

7010

国际计费系统基于Sharding-Proxy大数据迁移方案实践

网络安全大数据数据迁移迁移

Tech 导读本文主要介绍基于shardingproxy对大数据的迁移实践过程。通过本文读者可以对数据迁移全流程有一定了解，其中重点记录了shardingproxy全流程的搭建，对想要了解和即将要做数据迁移的读者们有一定的帮助意义。

2023-01-05

1.1K0

JRC Flink流作业调优指南

flink 大数据缓存

Tech 导读本文综合Apache Flink原理与京东实时计算平台（JRC）的背景，详细讲述了大规模Flink流作业的调优方法。通过阅读本文，读者可了解Flink流作业的通用调优措施，并应用于生产环境。写在前面 Apache Flink作为Google Dataflow Model的工业级实现，经过多年的发展，如今已经成为流式计算开源领域的事实标准。它具有高吞吐、低时延、原生流批一体、高一致性、高可用性、高伸缩性的特征，同时提供丰富的层级化API、时间窗口、状态化计算等语义，方便用户快速入门实时开发，

2022-09-07

8970

京东科技埋点数据治理和平台建设实践

数据库大数据数据分析 sql php

Tech 导读本文核心内容聚焦为什么要埋点治理、埋点治理的方法论和实践、奇点一站式埋点管理平台的建设和创新功能。读者可以从全局角度深入了解埋点、埋点治理的整体思路和实践方法，落地的埋点工具和创新功能都有较高的实用参考价值。遵循埋点治理的方法论，本文作者团队已在实践中取得优异成效，在同行业内有突出的创新功能，未来也将继续建设数智化经营能力，持续打造更好的服务。 01 埋点治理背景在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪

2022-08-25

1.6K0

揭秘京东超大规模联邦学习平台，如何打破信息孤岛、实现安全共建！

联邦学习数据库大数据 sql 隐私计算

数据是AI的石油，加速了AI的高速发展，但是同时多维度高质量的数据是制约其进一步发展的瓶颈。由于用户隐私、商业机密、法律法规监管等原因，造成大量信息孤岛，导致各个组织与机构无法将原始数据整合在一起，进而联合训练出一个效果更好、信息密度更大、能力更强的大模型，严重制约了AI的发展。联邦学习是新的机器学习模式，它让多个参与者可以在不泄露明文数据的前提下，用多方的数据共同训练模型，实现数据可用不可见，开拓新的业务模式与场景，提升整体AI水准。9N-FL作为超大规模的工业化联邦学习的代表，将在未来推动联邦学习的蓬勃发展。本文分享的是京东零售-技术与数据中心的联邦学习9N-FL项目在电商营销领域的实践，分享共分为六个部分：联邦学习背景、联邦学习简介、应用场景、9N-FL、隐私保护、规划总结。希望通过对9N-FL项目中联邦学习这一新的机器学习模式的分享，在未来隐私管控更加严格的场景下，发挥其重要的作用。联邦学习也将通过安全多方数据建模，开拓了新的业务模式与场景，给广大算法从业者提供了更加广阔的应用场景，促进大数据与AI的蓬勃发展与业务的突破。

2021-04-22

1.3K0

京东 HDFS EC 应用解密

缓存大数据自动化测试单元测试腾讯云测试服务

为了实现降本增效，京东HDFS 团队在 EC 功能的移植、测试与上线过程中，基于自身现状采取的一些措施并最终实现平滑上线。同时自研了一套数据生命周期管理系统，对热温冷数据进行自动化管理。在研发落地过程中还构建了三维一体的数据校验机制，为 EC 数据的正确性提供了强有力的技术保障。

2021-04-02

7950

揭秘| 大数据计算引擎性能及稳定性提升神器！

spark 数据备份大数据数据处理 mapreduce

本文讨论了京东Spark计算引擎研发团队关于自主研发并落地Remote Shuffle Service，助力京东大促场景的探索和实践。近年来，大数据技术在各行业的应用越来越广泛，Spark自UCBerkeley的AMP实验室诞生到如今3.0版本的发布，已有十年之久，俨然已经成为大数据计算领域名副其实的老将。虽然经过不断的迭代和优化，Spark功能日趋成熟与完善，但在性能及稳定性方面，仍然还有很多可以提升的地方。Shuffle过程作为MapReduce编程模型的性能瓶颈，就是其中的重点。我们希望在京东超大规模数据体量及复杂业务场景的背景下，通过自研并落地Remote Shuffle Service服务，解决External Shuffle Service中存在的现有问题，打造稳定高效的JDSpark计算引擎，助力京东大促过程中的一些应用实践，能够给大家提供一些思路和启发，同时也欢迎大家多多交流，给我们提出宝贵建议。

2021-02-25

1.1K0

技术解析 | 线下门店消费场景中的感知和互动

大数据数据分析

随着技术的快速发展和人们生活水平的不断提升，传统的零售模式已经难以满足消费者的需求，而且传统的运营模式需要进行重构。京东提出了无界零售的概念，对于前端门店用户体验来说，需要用运营技术能力来重构整体的购物体验，并通过数字化数据资产的沉淀来反向改进门店运营和用户体验。本文以京东时尚数字化门店为样板，介绍门店的数字化升级及体验升级。

2019-05-05

1.1K0

物联网发展进入快车道，京东IoT生态如何加码取胜？

物联网大数据神经网络深度学习人工智能

据统计，2018年全球接入物联网设备数量达到112亿，预计2020年设备规模将突破200亿，同期我国物联网市场规模首次突破万亿元，年复合增长率超过25%，随着传输技术、平台应用等基本架构已经完成大规模铺垫，2019年被业内期待为物联网领域全面爆发的黄金年。

2019-03-14

8800

区块链在信用租赁市场的应用实践

区块链大数据

本文内容来自TechDay京东技术节，ZRobot区块链产品经理丁文彬在区块链技术与应用专题中的演讲。

2019-01-23

1.5K0

京东举办首届大数据峰会打造智能零售大数据“操作系统”

区块链大数据数据处理

与英特尔合作建立数字化零售联合实验室、发布《京东大数据技术白皮书》、推出针对线下零售、区块链等领域的多款产品，联合行业内包括英特尔、谷歌、浪潮、联想等顶尖互联网企业，以及中国计算机协会、中关村多媒体软件园和清华大学等高等学府，共同交流以大数据为核心在门店科技、边缘计算、区块链等领域的前沿探索——在12月7日京东举办的首届大数据峰会上，京东打造的智能零售大数据“操作系统”全面亮相，展现出技术和应用两个层面上的强劲实力。

2018-12-25

5000

京东技术系统的一些备战日常优化（1）

企业大数据区块链存储编程算法

“技术的创新始终是要服务于商业模式的创新，最有价值的技术创新是工程化的应用技术，如何真正做出通用化的技术，将其规模化非常关键。”

2018-12-21

7410

京东荣获科促会科技产业化特等奖无界零售已成传统产业升级利器

企业电商大数据编程算法数据挖掘

当前，全球的线下零售业态主要以传统的进销渠道为主，部分品类的区域特征较为明显，总体来看互联网IT服务与信息技术的使用渗透率不高。京东作为实体经济与数字经济深度融合的创新型企业，对于这样的问题有着天生的“破解”能力。从去年开始京东提出了向零售基础设施服务商转型的目标，并提出无界零售的战略，打通人、货、场之间的边界。

2018-12-21

4750

京东物流备战11.11 | 四大技术系统确保业内最快配送时效

信息流存储分布式大数据物联网

“京东11·11全球好物节，90%仓配订单当日或次日达”，京东物流的快是众所周知的，作为京东供应链管理最重要的一环，背后都有哪些技术系统在支撑呢？它们在本次京东11·11全球好物节都做了哪些准备支撑呢？

2018-12-21

3.7K0

云原生计算基金会（CNCF）宣布京东获得终端用户奖

nat kubernetes 开源容器大数据

中国上海 – 2018 年11月15日 – KubeCon + CloudNativeCon 中国论坛 – 支持并集成 Kubernetes® 和 Prometheus™ 等开源技术的云原生计算基金会®（CNCF®）今天宣布，中国最大的在线综合零售商京东在云原生社区的贡献受到肯定，并获得CNCF终端用户奖。

2018-12-14

9290

数读11.11丨网购下单最快4分钟送达，京东物流创新服务让消费者轻松收快递

电商大数据企业

11.11京东全球好物节如火如荼，消费者摩拳擦掌，在集中的打折和促销中享受购物盛宴。而对物流来说，订单量的再度暴增，也带来又一场服务能力的集中展示和深度检验。

2018-12-13

6.7K0

京东商城技术架构部 | 我为11.11保驾护航

大数据运维容器数据库

京东快速发展的同时，应用规模、数据中心以及机器的规模都同步倍增，在面对如此大规模的机器，应运而生了京东数据中心操作系统（JDOS，JingdongDatacenter OS）。历经多年时间的技术沉淀与发展，JDOS不仅仅作为京东数据中心操作管理资源，更作为京东统一的PaaS平台致力于支撑业务系统快速交付、稳定运行，基础中间件托管提升基础平台敏捷交付。尤其是线上运行的阿基米德系列系统，将应用于实现京东商城数据中心资源智能调度，支撑在线业务系统与大数据计算混合部署融合计算，并节约采购成本。而每一次的11.11都是对JDOS系统的一次检验和挑战，经过无数次的紧张演练，问题排查，系统升级优化，服务应用快速交付；从容支撑大促高峰流量，保障了业务的高速发展。

2018-12-12

12.6K0

「仓储网络智能库存管理问题」最好的答案 | GOC大赛

go 大数据编程算法电商 http

本篇特约全球运筹优化挑战赛-仓储物流智能库存管理赛题冠军 TP_AI队伍分享赛题解析。来自清华大学经管学院的闵旭和来自北京大学人工智能创新中心的马思源因为比赛走在一起，虽然是一对新手情侣，但他们思路和策略却毫不含糊，为大赛贡献出了一套出色的解决复杂优化问题的创新方案。

2018-12-07

3K0

你认识一个叫张磊的程序员吗？

程序员是一类很神奇的生物群，他们手握改变世界的代码，却行事低调，身背双肩电脑包，藏匿于拥挤的地铁中和夜深人静的写字楼里。他们经常get同款格子衫，甚至连名字都同款，在京东，叫“张磊”的程序员最多。

2018-11-23

6940

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态