腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

onephone

专栏作者

5

文章

10847

阅读量

8

订阅数

【数据处理】sed原理及使用举例（快速理解核心）

数据处理 linux 命令行工具 shell bash

在做数据开发中，经常需要通过shell脚本/命令来针对文本进行预处理，sed是一个很强大的流式处理命令，笔者几乎每天都会用到，在这统一梳理总结了下！其实 sed 很简单，比vim简单很多了！ 1. 基础核心概念两个空间：模式空间(pattern space)；交换空间（hold space 保持空间）模式空间：容纳当前行的缓冲区，即通过模式匹配到的行被读入该空间中保持空间：一个辅助缓冲区，可以和模式空间进行交互（通过h,H,g,G），但命令不能直接作用于该空间，在进行数据处理时作为“暂存区域”

2022-03-30

2.8K5

【大数据】回顾踩过的 Scala & Spark学习资料

大数据 scala 大数据处理套件 TBDS spark

笔者从18年开始做大数据开发，最近有朋友找我推荐一些spark相关的学习资料，于是就再次梳理了下，自己踩过的，比较好的相关资料...... 1. scala学习相比于其他语言，个scala的学习曲线确实比较陡，如果有函数式编程或JAVA基础的话，则相对会好一些官网：https://www.scala-lang.org/ 1.1 runoob.com 上的scala tutorial ⭐️⭐️⭐️ 最简易和快速的入门教程，有基础的话，两个小时即可教程的侧重点是“手册”，故Scala的一些特性和原理没有涵

2022-03-29

1K0

腾讯云-人工智能-从业资格认证-学习笔记

腾讯云学堂腾讯云认证人工智能认证考试 NLP 服务

发展知识点腾讯AI 人脸技术车辆技术图像识别技术文字识别技术腾讯TI平台发展趋势人才岗位发展 1950年，他那篇著名论文《计算机器与智能》的正式发表，里面有史以来第一次触及到了“人工智能”，提出了 “图灵测试”，这当中涉及了自动解释，和自然语言的生成，作为判断智能的条件。 1956年美国达特茅斯会议:“人工智能”概念诞生人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新技术科学。人工智能的

2022-03-01

2.4K0

【玩转腾讯云】网站-全套服务-从0到1

云服务器容器服务域名注册网站建设云上实践

TOC 1. 这样开始的... 1.1. 背景朋友"搞事情"，自己有偿帮忙搭了一套线上服务，包括官网、小程序后台、文档集站点、个人博客站点等初期，流量小，节约资金，一切从简，后期，流量大了，再考虑扩容或迁移服务（目前完全能hold住) 基于一台腾讯云服务器搭建了全套服务，站点均在同一个二级域名下 1.2. 依赖的服务 1.2.1 腾讯云服务使用到的腾讯云服务 CVM云服务器 COS对象存储网站备案域名管理, SSL证书腾讯软件源: mirrors.tencent.com 微信小程序 1.2.2

2020-05-04

1.8K0

【大数据】Spark优化经验&案例--数据倾斜

大数据 spark hadoop 数据分析

TOC 0. 十秒看完 1.业务处理中存在复杂的多表关联和计算逻辑（原始数据达百亿数量级） 2.优化后，spark计算性能提升了约12倍(6h-->30min) 3.最终，业务的性能瓶颈存在于ES写入（计算结果，ES索引document数约为21亿 pri.store.size约 300gb） [优化完整过程] 1. 背景业务数据不断增大, Spark运行时间越来越长, 从最初的半小时到6个多小时某日Spark程序运行6.5个小时后, 报“Too large frame...”的异常 org.apach

2020-04-27

2.8K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态