接收程序员的 8 点技术早餐 人类的历史,即分久必合,合久必分。 2017 年,比特币因行情疯长火热一时。2018 年伊始,其使用的底层技术区块链又迎来狂欢:从国内创投人到硅谷投资者,从 BAT 到互联网企业众生,都纷纷加入这场技术的斗艳中。 在去中心化技术给这个时代带来新革命的同时,区块链也在更多的行业施展拳脚,利用去中心化计算机系统来创建安全、可验证和永久的交易记录,从而解决不透明或非可信问题。从本质上讲,它创建了一个安全的、分布式的信息和交易记录数据库。 对于交易不透明等问题,广告行业存在的欺诈流量、
不少互联网外企在过去的十年里把分部开到了中国,它们大多数都是觊觎这里的庞大市场潜力。当然,也有例外。
近年来,FreeWheel 核心业务开发团队致力于将传统单体 Rails 应用,向分布式微服务架构迁移,以适应越来越复杂的业务场景和系统性能的提升。随着微服务规模的不断增长,一些新的问题也随之产生。其中如何对这些业务服务进行有效的治理和维护,对业务状态进行监控,甚至于线上调试变得尤为重要。业务服务治理平台(business service management platform),是我们为应对这一挑战做出的选择。本文将详细解析 FreeWheel 核心业务开发团队构建的服务治理平台。
FreeWheel的广告服务平台迁移到微服务架构之后,复杂的服务调用链路为服务治理与问题排查带来了很多困难。为解决这一痛点,我们引入了Service Mesh技术,期望通过它在流量控制、可观察性等方面的能力来解决现有问题。我会从Istio与AWS App Mesh的对比讲起,让你了解到Service Mesh 的技术选型策略,并通过实践分享为你落地Service Mesh 提供参考。
本文共5900字,建议阅读时间12分钟 本文整理自2015年1月9日硅谷领先的互联网视频广告技术服务提供商Free Wheel高级副总裁王迪先生,在清华大数据“技术•前沿”系列讲座上,为清华师生及清华大数据产业联合会的业界人士所做的题为《数据驱动下的数字视频广告创新》的精彩讲座。 内容摘要 1、美国及世界的电视和电视广告市场的发展趋势 2、数字视频广告的产品创新 3、数据驱动下的技术挑战:动态广告投放、广告预测和受众定向、跨屏货币统一 4、数据洞察 5、广告系统架构 本次讲座主要有以下几方面的内容: 数据或
作者 | 孙自然 策划 | 蔡芳芳 1引言 在从单体应用向微服务架构转型的过程中,服务配置管理从只需要应对一个单体服务,变为应对大量分布式服务,难度呈几何级增加。为了解决这个难题,各种应对分布式服务的配置中心应运而生,如何搭建一个高效合理的配置中心已经成为每个大型分布式系统必经的考验。而在服务“上云”的大趋势下,如何让配置中心在云平台顺利落地,更进一步,如何借助云计算的优势让配置中心如虎添翼,目前业内对这一块还处于探索阶段。本文将介绍 FreeWheel 核心业务系统在 AWS 云平台上搭建配置中心的实战,
为了解决从 JavaScript 逐步迁移到 TypeScript 过程中遇到的痛点,FreeWheel 核心业务团队评估并提出了一套由 Protobuf 文件自动化生成 TypeScript 类型声明文件的流程,支持 Protobuf 文件的变化触发类型声明文件的自动更新。所有的 TypeScript 类型声明文件以微服务为单位储存,集中维护在公司级别的 TypeScript 中心化仓库里。
近来 FreeWheel 微服务业务团队的业务逐渐扩大,单体服务已经无法胜任,于是我们如火如荼地开展了向微服务迁移的工作,一时间,服务如雨后春笋般冒了出来。在享受微服务带来便利的同时,我们也面临着众多服务带来的整体稳定性的考验。尽管我们有着完善的监控和报警系统,一旦故障发生,总是能第一时间通知到工程师来排查问题,但是这些都是事后的响应和应对。如何能提前了解系统可能会出啥问题,啥时候会出问题,出了问题怎么应对变得至关重要。混沌工程是帮助解决这一问题的不二选择,本文主要聊一下 FreeWheel 微服务业务团队在混沌工程道路上的实践。
在大多数的业务系统的构建和开发之中,日志作为系统运行背后的产出,描述着我们系统的行为和状态,是开发和运维人员对系统进行观察和分析的基石。在系统状态比较微小和原始的状态下,日志可能仅仅是为了打桩和调试而存在的,或独立、或单一的记录,但随着我们系统不断的复杂化、模块化,服务与服务之间的配合不断的密切化、分布化,我们对于日志描述的精准化、规范化、可观察化的需求就愈发凸显。本文是《微服务中台技术解析》系列文章第七篇,将简要介绍 FreeWheel 核心业务系统团队经过多年的思考、开发、迭代之后形成的日志系统实践。
为了解决传统CSS在现代前端应用开发中遇到的痛点,FreeWheel评估了大量新一代的CSS框架/工具/方案。在本文中,作者以评估过程为线索,介绍了CSS-in-JS的背景、现状、开发特点和趋势。
目前, Freewheel 核心任务系统采用微服务架构,在降低服务间耦合的同时,也对每个服务的鲁棒性提出了更高的要求。每个模块作为独立服务部署,都可能面临诸如性能瓶颈、内存泄露、Goroutine 泄漏等问题。在微服务化的环境中,快速准确定位具体服务的性能等问题是我们急需解决的痛点,Profiling 往往是解决这类问题的利器。本文主要介绍 Freewheel 的 Profiling 实践,供读者参考。
安全系列新鲜出炉,回复“安全”看新鲜的泄密、黑客、攻防案例。 《美国数字视频产业的货币化:洞察与挑战》RONG系列论坛第一场——大数据与新闻传播专场论坛中的议题,主讲人为Free Wheel高级副总裁王迪。回复“清华大数据”可获得完整版PPT(有效期:5天) 主题:数据研究院RONG系列论坛--大数据与新闻传播 时间:2014年12月26日 地点:新闻与传播学院204会议室 主办单位:清华大学数据科学研究院、清华大学新闻与传播学院 赞助单位:贵阳日报传媒集团旗下"数据观" 演讲嘉宾简介: 王迪,清华大学计算
6 月 26 日,亚马逊云科技 Community Day 在上海举办。亚马逊云科技首席开发者布道师、资深数据科学家、资深应用科学家以及亚马逊云科技 Machine Learning Hero 悉数到场,针对 AI 开源的技术趋势及落地实践项目进行分享和讨论。 1王宇博:亚马逊在开源机器学习领域的贡献和实践 开源的概念源于上世纪 80 年代,近年来,随着机器学习和云计算的不断发展,开源逐渐成为众多开发者谈论的核心,其重要性显著提升。目前,前五大开源贡献者中,四家是云计算厂商,前十大开源贡献商中,七家是云计算
👆点击“博文视点Broadview”,获取更多书讯 FreeWheel是美国传媒巨头康卡斯特(Comcast)集团旗下的高端视频广告技术供应商,90%以上的美国主流电视媒体和运营商都在使用FreeWheel的广告平台和技术。本文将带你了解名企FreeWheel核心业务系统研发团队将单体应用改造成云原生微服务应用的演进之路。 01 何为云原生应用 2010年,WSO2的创始人Paul Fremantle提出了云原生(Cloud native)一词。经历了10多年的发展和技术变革,云原生的定义和内涵都有了很
随着软件系统从单体应用迈向微服务架构以及数据库选型去中心化、异构化的趋势,传统的 ACID 事务在分布式系统上能否延续,如何落地,有哪些注意事项?本文将围绕分布式事务这一技术议题,介绍 FreeWheel 核心业务系统在相关领域的业务需求、技术决策和线上实践。
作者 | 钟雨 背 景 在公司运行过程中,尤其是对于偏重数据的互联网公司,业务异常检测是一个非常重要但又很容易被轻视的工作。一旦因为业务发生异常并且没有被及时发现,一定会对公司和客户产生某种程度的损失,从而影响业务正常发展。很多公司都构建了基于规则的报警平台,并将其应用于业务的异常检测。但由于数据模式的快速变化,并且数据中存在着大量噪音,基于规则的异常检测误报率较高。基于机器学习和人工智能的业务异常检测可以获得比传统规则系统更高的准确率和扩展性,但由于面临诸如异常的定义较为模糊、缺少数据标签等诸多
随着业务的发展和架构的迭代升级,近一年 FreeWheel 核心业务团队对前端技术栈进行了大规模升级改造,针对多个新业务页面的开发需求,对产品按照业务模块进行了划分,形成了多团队协作开发的 polyrepo 模式。而对于团队之间的组件或模块的共享问题,结合社区的实践和公司内部尝试的经验,我们决定采用 monorepo 模式来满足共享需求,并对将代码仓库改造成 monorepo 进行了技术尝试和落地,下面是具体介绍。
Airflow 作为一款开源分布式任务调度框架,已经在业内广泛应用。本文总结了 Freewheel Transformer 团队近两年使用 Airflow 作为调度器,编排各种批处理场景下 ETL Data Pipelines 的经验,希望能为正在探索 Airflow 的技术团队提供一些参考价值。
嘉宾 | 许侃 编辑 | 贾亚宁 用过 TypeScript 的开发者往往都会不约而同地直呼“真香”,但是我们也无法忽略 TypeScript 诸如学习曲线较陡和开发成本较高等阻碍。因此如何高效地使用和掌握 TypeScript,使其在中大型的项目中发挥最好的作用一直是大家讨论的热点话题。 本次我们邀请了 FreeWheel 的 Tech Lead 许侃老师,请他来分享对于 TypeScript 的应用和思考,同时许侃也是已经上线的 QCon+ 案例研习社「TypeScript 在中大型项目中的落地实
作者 | 彭潇、张成、姜冰 审校 | 蔡芳芳 1前言 随着各大云厂商竞争愈发激烈,云计算产业正在快速崛起。云计算正在影响整个信息产业,其可靠性、灵活性、按需计费的高性价比等优势已经让很多厂商把“上云”列入到了战略计划中。 相对传统运维,云计算为我们节省了很多硬件、网络、甚至一些基础服务的维护成本。与此同时也把运维模式从传统的静态化变成了动态化,如何管理多样化的动态资源、构建弹性化服务、实现异地切换与备份、管控内外部安全、优化成本等等挑战应运而生。 本文将分享 FreeWheel 基于 AWS 云服务的运
FreeWheel团队通过高效的敏捷开发赶在 2020 年圣诞广告季之前在生产环境顺利发布上线,整体性能提升高达 40%(对于大 batch)的数据,AWS Cost 平均节省 25%~30%之间,大约每年至少能为公司节省百万成本。
2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会(Big Data Technology Conference 2015,BDTC 2015)在北京新云南皇冠假日酒店盛大开幕。 12日上午的推荐系统分论坛,百度基础架构部高级架构师沈国龙、FreeWheel技术副总裁李旸、新浪微博算法技术总监姜贵彬、京东数字营销大数据高级总监万昊
2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会(Big Data Technology Conference 2015,BDTC 2015)在北京新云南皇冠假日酒店盛大开幕。 12日的推荐系统分论坛,百度基础架构部高级架构师沈国龙、FreeWheel技术副总裁李旸、新浪微博算法技术总监姜贵彬、京东数字营销大数据高级总监万昊和猎
大家在日常工作中可能会经常遇到系统更新迭代与集群重建等需求,不可避免会涉及到服务的迁移更换操作。针对不同场景和诉求,具体的处理方式会不太一样,但大致的思想和方法还是具有一定的普适意义。本文主要想和大家分享一下团队最近经历的在保障大数据高并发、低延时、高吞吐读写的同时,如何不停机地在 AWS 上更换关键大数据服务的实践,供感兴趣的同学参考。
2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办的2015中国大数据技术大会(Big Da
近几年来,低代码和开发平台成为了技术圈子的热点话题。很多企业也开始尝试使用低代码来快速搭建应用,从而减少开发成本和运维成本。FreeWheel 核心业务开发团队在打造云原生微服务架构的过程中,搭建新服务的需求日趋增多。为了应对这一挑战,我们研发了基于 AWS 的低代码开发平台。本文从低代码和开发平台的基本概念讲起,带你体验 FreeWheel 核心业务开发团队低代码的实战之旅。
很多以讹传讹的半桶水文章,都教人修改/etc/security/limits.conf配置文件来放宽“打开的文件数量”限制,如果可以再多一滴水的话,还会加一句“重启后生效”。
中台是近两年软件开发领域的热点话题,相关的文章也成为了各个技术社区和媒体争相报道的网红内容。作为企业支撑业务开发的核心系统,中台的重要性不言而喻,很多企业也开始尝试中台的构建和落地工作。Biz-UI 的业务中台孵化于 BSAP(Business Service Architecture and Practice)项目,经过一年多的积累,终于开花结果。本文将从中台的基本概念讲起,带你一起探寻 Biz-UI 团队的业务中台构建之旅。
在 FreeWheel 的核心业务系统中,我们使用 MySQL 来存储数据。但随着数据量的不断增加,原有数据库已经无法满足如今的业务需求。经过前期大量的调研,我们决定将 MySQL 中的部分表迁移到 AWS Dynamodb 中。本文主要介绍从关系型数据库平顺迁移到非关系型数据库的实践经验。
点击上方蓝色字体,选择“设为星标” 回复”学习资料“获取学习宝典 最近发现一份最新的955不加班公司的名单,这就分享给大家! 如果你正在找工作,并且不想进入一家 996 企业,相信这份名单会对你有所帮助。 名单来自:https://github.com/formulahendry/955.WLB,仍在不断更新 996 工作制:即每天早 9 点到岗,一直工作到晚上 9 点。每周工作 6 天。 955 工作制:即每天早 9 点到岗,一直工作到下午 5 点。每周工作 5 天。 944 工作制:即每天上午 9
相信作为 Spark 的粉丝或者平时工作与 Spark 相关的同学大多知道,Spark 3.0 在 2020 年 6 月官方重磅发布,并于 9 月发布稳定线上版本,这是 Spark 有史以来最大的一次 release,共包含了 3400 多个 patches,而且恰逢 Spark 发布的第十年,具有非常重大的意义。
本文由极客时间整理自 FreeWheel 核心业务团队高级软件工程师陈芸在 QCon+ 案例研习社的演讲《TypeScript 在 FreeWheel 核心业务团队的项目实践(上)》。 作者|陈芸 编辑|贾亚宁 热衷前端技术的小伙伴都知道 TypeScript 这几年的需求呈现指数级增长的趋势,越来越多的开源项目开始使用 TypeScript 进行重构,出于对 TypeScript 究竟好不好,好在哪里的好奇,我们也对它进行了探索与尝试。 我本次的分享主要分为以下两个部分:首先探讨一下是否要引入 TypeS
自我介绍 大家好,我是老班长,一名老牛油(至于多老呢?我基本是第一批关注牛客网的同学,我加牛客网qq1群的时候,群里只有400多人(现在估计10多个群了吧),那时的产品经理是兴宝,哈哈,估计很多人不知道吧) 一直在牛客刷题,也听了不少左程云老师的算法课,受益匪浅,本篇面经作为一个回馈吧,感谢牛客,希望牛客越来越牛。 春招拿到了阿里实习offer,腾讯WXG劳务实习生offer,秋招(就是现在)拿到了腾讯MIG核心部门的offer(后来谈正式offer时候发现是sp,有点小激动),搜狗搜索SP(对面给的口头,
发现一份955不加班公司的名单~想去955公司去享受下生活 996 工作制:即每天早 9 点到岗,一直工作到晚上 9 点。每周工作 6 天。 955 工作制:即每天早 9 点到岗,一直工作到下午 5 点。每周工作 5 天。 944 工作制:即每天上午 9 点到岗,一直工作到下午 4 点。每周工作 4 天。 说明 以下公司名单,基本不属于 996 的公司,相对接近 955/965 的水平,但是依旧要看部门和地区,不能保证完全准确性。 不能保证所有部门都是 955/10-6-5/965/10-7-5 的水平
2019 年年初,韩老师建立了 955 不加班的公司名单。目前,这个 repo 已经有超过 22k 的 star 了!
随着技术的发展,软件开发方法不断演进,测试一直都是不可或缺的一步。作为提升用户体验、保障软件质量的关键环节,软件测试至关重要。特别是面对多样化的测试需求、不断加快的版本迭代速度,如何围绕业务功能需求搭建适合其特点且快速、高效的软件测试体系、框架和流程,FreeWheel 核心业务团队对此进行了深入的探索和实践。团队将测试中具有共性的模块进行抽象和提取,形成了自己的“测试之道”,为产品质量提供强有力的保障。
你好,我是对白,清华计算机硕士,BAT算法工程师,拿过8家大厂算法岗SSP offer。
这是github上的一个开源项目:955.WLB,上面列举了程序员们汇总的 955 作息的公司名单,旨在促进码农的工作生活平衡,文末「阅读原文」附上了 github 项目地址,感兴趣可以看看。 996 工作制:即每天早 9 点到岗,一直工作到晚上 9 点。每周工作 6 天。 955 工作制:即每天早 9 点到岗,一直工作到下午 5 点。每周工作 5 天。 944 工作制:即每天上午 9 点到岗,一直工作到下午 4 点。每周工作 4 天。 说明 以下公司名单,基本不属于 996 的公司,相对接近 955/96
历任:领英(LinkedIn)副总裁,赤兔技术创始人,FreeWheel高级副总裁及中国区总经理。
来源:HJ说 说明 对于 955 名单中的公司,基本不属于 996 的公司,相对接近 955/965 的水平,但是依旧要看部门和地区,不能保证完全准确性。 不能保证所有部门都是 955/10-6-5/965/10-7-5 的水平 就算部门的平均水平是 955/10-6-5/965/10-7-5,也有可能部分时间要加班 名单中部分公司的部分部门可能有 975 甚至 985 的情况,不要以偏概全 名单中部分公司的部分甚至较多部门可能有 945、10-5-5 或者 11-6-5 的情况,我们也把他们加入在名单中
这是 github上的一个开源项目:955.WLB,上面列举了程序员们汇总的 955 作息的公司名单,旨在促进码农的工作生活平衡,文末「阅读原文」附上了 github 项目地址,感兴趣可以看看。 996 工作制:即每天早 9 点到岗,一直工作到晚上 9 点。每周工作 6 天。 955 工作制:即每天早 9 点到岗,一直工作到下午 5 点。每周工作 5 天。 944 工作制:即每天上午 9 点到岗,一直工作到下午 4 点。每周工作 4 天。 说明 以下公司名单,基本不属于 996 的公司,相对接近 955/9
企业中的人工智能算法工程师通常在解决任务前会根据自己的业务“常识”,给予模型一定的假设与先验知识,并选取“常规”解法进行细微调整。然而这样的“常识”一定是准确的吗?我们在对全美电视广告流量预测的项目中发现了诸多有违“常识”的业务特征,同样也采取了有违“常识”的做法。康卡斯特(Comcast)是全美第一大有线电视服务商,旗下的FreeWheel负责高端视频广告的投放。在Viewership Prediction项目中我们的任务是:预测全美各个地区(康卡斯特内部分区)各个电视频道在未来某一小时内可能给出的广告曝光(impression)。这一预测数据将会根据需求在各个维度(时间,地区,频道,用户分类)上进行聚合,用以给广告主提供参考,为广告投递提供决策支持。我们在模型设计与实现上采取了比较不同以往的做法,同时在业务上也发现了有违常识的数据特点。在此对全美电视广告流量预测的算法与业务经验进行总结。
这是「进击的Coder」的第 587 篇分享 内容整理:HJ 说 编辑 & 翻译:GitHubDaily “ 阅读本文大概需要 5 分钟。 ” 此前有人在 GitHub 开源了一份 955.WLB 名单,里面收录了一些工作时间为早九晚五,双休的互联网企业。 996 工作制:即每天早 9 点到岗,一直工作到晚上 9 点。每周工作 6 天。 955 工作制:即每天早 9 点到岗,一直工作到下午 5 点。每周工作 5 天。 944 工作制:即每天上午 9 点到岗,一直工作到下午 4 点。每周工作 4 天。 Gi
大家好呀,我是小方! 这周二,在网上了看到一个很令人振奋的新闻:北京开始整治超时加班,检查对象包括重点突出的「互联网」企业等。 这种新闻,放在几年前,大家可能都麻木了。 都整治几年了?结果呢?996 依然盛行,每年都有互联网打工人猝死的事件发生。 但是从去年年底开始,感觉互联网行业在慢慢发生着一些良性的变化。 腾讯率先打响了取消 996 和大小周加班工作制的第一枪,光子工作室开始号召所有员工到 6 点之后就准时下班。 紧接着,字节采用 “1075” 工作制的新闻也上了热搜, “1075” 意思是从早上
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 快手迎来新一轮高层变动: 任职七年的CTO陈定佳卸任。 但他既没有另谋高就,也没有创业单飞,而是“选择投入更多时间于其家庭及个人事务”。 “鉴于他在职期间的重大贡献”,快手又颁给了他一个“终身荣誉顾问”的新身份,他可以在卸任后继续为公司提供指导和支持。 据悉,接任者是两位高级副总裁,一位是于越,负责推进算法团队,一位是于飞,负责音视频业务。 这份公告已于今日正式生效。 七年CTO转终身荣誉顾问 陈定佳毕业于清华大学软件学院计算机软件专业本科,和快手联合
本次新增的五家公司是:Canva、EPAM Systems、LEGO Group、Optiver 和 Two Sigma。 Canva 是全球领先的在线设计平台,创建于2013年,总部位于澳大利亚悉尼,使命是“赋予世界设计的力量“。Canva用户遍及全球190多个国家,月活跃用户超过7500万,平均每秒就有150个设计在Canva上产生。 EPAM Systems 为世界各地的各种客户提供软件开发服务。它在欧洲、澳大利亚、北美和亚洲的20个国家的多个地点为其客户提供交付平台。 LEGO Group,乐高集团
👆点击“博文视点Broadview”,获取更多书讯 11月新书速递 虽然快到年底了,但是我们丝毫没有懈怠,依然快马加鞭地把好书源源不断地奉献给大家! 本月新书实在有些多,所以本期书单挑选了部分技术图书分享给大家,其中既有游戏界绝对的王者《腾讯游戏开发精粹II》,又有新锐技术Pulsar、SequoiaDB的相关著作,还有一应俱全的微服务一本通、有趣好玩的算法书和Python自动化办公图书,具体都有哪几本,快来看看吧~~ ---- 01 ▊《腾讯游戏开发精粹Ⅱ》 腾讯游戏 著 腾讯官方出品,领域经
👆点击“博文视点Broadview”,获取更多书讯 📷 在这个万物上云的时代,基于云端进行架构设计已经成为每一位合格的架构师的必备技能! 为了帮助各位小伙伴们打好云端架构设计的基础,在分析不同行业业务场景的案例和解决方案时,可以迅速针对各样的技术痛点、业务需求给出对应的解决方案,本期书单就来分享11本与云端架构相关的经典畅销书! ---- 📷 01 📷 📷 ▊《云端架构:基于云平台的41种可复用的架构最佳实践》 吕昭波 著 提炼6大云端架构设计原则,指导云端架构的构建、重构、评估 总结架构设计中要遵循的
今天特地整理了一份一二线城市知名的互联网(或者说IT相关)公司名单供参考。当然了,由于了解有限,难免会有疏漏和不当,也欢迎大家补充,众人拾柴火焰高。
现在,几乎所有公司都离不开推荐、广告、搜索这 3 类业务场景,因此 Spark 也相应成了大多数互联网公司的标配: 美团在 2014 年就引入 Spark,并将其逐渐覆盖到大多数业务线;字节跳动也基于 Spark 构建数据仓库,去服务了几乎所有的产品线;还有 Facebook 也将数据分析引擎切换为 Spark。 以美团为例,它海量的日志数据将被汇总处理、分析、挖掘与学习,为各种推荐、搜索系统甚至公司战略目标制定提供数据支持。 而 Spark 能在相同资源使用情况下,把作业执行的速度提升百倍,极大的提高了生
领取专属 10元无门槛券
手把手带您无忧上云