在开发 socket 应用程序时，首要任务通常是确保可靠性并满足一些特定的需求。利用本文中给出的 4 个提示，您就可以从头开始为实现最佳性能来设计并开发 socket 程序。本文内容包括对于 Sockets API 的使用、两个可以提高性能的 socket 选项以及 GNU/Linux 优化。
此前的文章中，我们介绍了 tcp 协议的基本概念和连接的建立与终止 最后，我们介绍了“经受时延的确认”，这是一种将 ACK 包与下一条数据包合并发送的策略，这样可以尽量减少发往网络的报文，以提高传输的效率，节省网络资源。 除此之外，TCP 还有很多其他算法和策略用来优化网络的使用。
BBR对TCP性能的提升是巨大的，它能更有效的使用当下网络环境，Youtube应用后在吞吐量上有平均4%提升（对于日本这样的网络环境有14%以上的提升）：
安装 paddleocr pip install paddleocr -i https://pypi.tuna.tsinghua.edu.cn/simple 报错 creating build/temp.linux-x86_64-3.8 creating build/temp.linux-x86_64-3.8/Levenshtein gcc -pthread -B /opt/bdp/data01/anaconda3/envs/pp21/compiler_compat -Wl,--sysroot=/ -Wsi
在Linux上做网络应用的性能优化时，一般都会对TCP相关的内核参数进行调节，特别是和缓冲、队列有关的参数。网上搜到的文章会告诉你需要修改哪些参数，但我们经常是知其然而不知其所以然，每次照抄过来后，可能很快就忘记或混淆了它们的含义。本文尝试总结TCP队列缓冲相关的内核参数，从协议栈的角度梳理它们，希望可以更容易的理解和记忆。注意，本文内容均来源于参考文档，没有去读相关的内核源码做验证，不能保证内容严谨正确。作为Java程序员没读过内核源码是硬伤。
行式数据库是按照行存储的，行存储就是各行放入连续的物理位置，就行我们平时写字一样，一行一行的写，读取的时候也是一行一行的读取。像SQL server,Oracle，mysql等传统的关系型数据库都属于行式数据库范畴。
很多人常常对TCP优化有一种雾里看花的感觉，实际上只要理解了TCP的运行方式就能掀开它的神秘面纱。Ilya Grigorik 在「High Performance Browser Networking」中做了很多细致的描述，让人读起来醍醐灌顶，我大概总结了一下，以期更加通俗易懂。 流量控制 传输数据的时候，如果发送方传输的数据量超过了接收方的处理能力，那么接收方会出现丢包。为了避免出现此类问题，流量控制要求数据传输双方在每次交互时声明各自的接收窗口「rwnd」大小，用来表示自己最大能保存多少数据，这主要是针
很多人常常对TCP优化有一种雾里看花的感觉，实际上只要理解了TCP的运行方式就能掀开它的神秘面纱。Ilya Grigorik 在「High Performance Browser Networking」中做了很多细致的描述，让人读起来醍醐灌顶，我大概总结了一下，以期更加通俗易懂。
net.core.netdev_max_backlog = 400000 #该参数决定了，网络设备接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.optmem_max = 10000000 #该参数指定了每个套接字所允许的最大缓冲区的大小 net.core.rmem_default = 10000000 #指定了接收套接字缓冲区大小的缺省值（以字节为单位）。 net.core.rmem_max = 10000000 #指定了接收套接字缓冲区大小的最大值（以字节为单位）。 net.core.somaxconn = 100000 #Linux kernel参数，表示socket监听的backlog(监听队列)上限 net.core.wmem_default = 11059200 #定义默认的发送窗口大小；对于更大的 BDP 来说，这个大小也应该更大。 net.core.wmem_max = 11059200 #定义发送窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 #严谨模式 1 (推荐) #松散模式 0 net.ipv4.tcp_congestion_control = bic #默认推荐设置是 htcp net.ipv4.tcp_window_scaling = 0 #关闭tcp_window_scaling #启用 RFC 1323 定义的 window scaling；要支持超过 64KB 的窗口，必须启用该值。 net.ipv4.tcp_ecn = 0 #把TCP的直接拥塞通告(tcp_ecn)关掉 net.ipv4.tcp_sack = 1 #关闭tcp_sack #启用有选择的应答（Selective Acknowledgment）， #这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）； #（对于广域网通信来说）这个选项应该启用，但是这会增加对 CPU 的占用。 net.ipv4.tcp_max_tw_buckets = 10000 #表示系统同时保持TIME_WAIT套接字的最大数量 net.ipv4.tcp_max_syn_backlog = 8192 #表示SYN队列长度，默认1024，改成8192，可以容纳更多等待连接的网络连接数。 net.ipv4.tcp_syncookies = 1 #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭； net.ipv4.tcp_timestamps = 1 #开启TCP时间戳 #以一种比重发超时更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项。 net.ipv4.tcp_tw_reuse = 1 #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭； net.ipv4.tcp_tw_recycle = 1 #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。 net.ipv4.tcp_fin_timeout = 10 #表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。 net.ipv4.tcp_keepalive_time = 1800 #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为30分钟。 net.ipv4.tcp_keepalive_probes = 3 #如果对方不予应答，探测包的发送次数 net.ipv4.tcp_keepalive_intvl = 15 #keepalive探测包的发送间隔 net.ipv4.tcp_mem #确定 TCP 栈应该如何反映内存使用；每个值的单位都是内存页（通常是 4KB）。 #第一个值是内存使用的下限。 #第二个值是内存压力模式开始对缓冲区使用应用压力的上限。 #第三个值是内存上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（但是要记住，其单位是内存页，而不是字节）。 net.ipv4.tcp_rmem #与 tcp_wmem 类似，不过它表示的是为自动调优所使用的接收缓冲区的值。 net.ipv4.tcp_wmem = 30000000 30000000 30000000 #为自动调优定义每个 socket 使用的内存。 #第一个值是为 socket 的发送缓冲区分配的最少字节数。 #第二个值是默认值（该
相关参数仅供参考，具体数值还需要根据机器性能，应用场景等实际情况来做更细微调整。
随着腾讯云业务的全球扩张，越来越多的海外节点在陆续的建立起来，跨海，跨洲的长距离传输也越来越成为业务的常态（像直播视频云业务就有海外主播国内乃至全球观看的业务形态）。这种远距离的数据传输，拥有长的RTT(Round Trip Time往返时间)和高的带宽，管道容量（BDP，即Bandwidth和RTT的乘积）大，被称作长肥管道。传统的TCP应用于网络不稳定的长肥管道，传输效率不高，已越来越不能满足业务稳定高速传输的苛刻要求。本文分析了长肥管道存在的问题，并提出了解决此问题的一个思路。
vim/opt/bdp/apache-hive-1.2.1-bin/conf/hive-site.xml
0.前言 为提升信鸽基础服务质量，笔者就网络收包全流程进行了内容整理。 网络编程中我们接触得比较多的是socket api和epoll模型，对于系统内核和网卡驱动接触得比较少，一方面可能我们的系统没有需要深度调优的需求，另一方面网络编程涉及到硬件，驱动，内核，虚拟化等复杂的知识，使人望而却步。网络上网卡收包相关的资料也比较多，但是比较分散，在此梳理了网卡收包的流程，分享给大家，希望对大家有帮助，文中引用了一些同事的图表和摘选了网上资料，在文章最后给出了参考文献与部分来源，感谢这些作者的分享。 1.整体流程
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
当服务器的并发TCP连接数以十万计时，我们就会对一个TCP连接在操作系统内核上消耗的内存多少感兴趣。socket编程方法提供了SO_SNDBUF、SO_RCVBUF这样的接口来设置连接的读写缓存，linux上还提供了以下系统级的配置来整体设置服务器上的TCP内存使用，但这些配置看名字却有些互相冲突、概念模糊的感觉，如下（sysctl -a命令可以查看这些配置）：
「字不如表，表不如图」想必大家都有过这样的经历，制作 PPT 、Excel 或者写文章时，遇到关于地理位置方面的内容需要描述，想配一张像文章开头那样的酷炫地图，可是吧，要么找不到合适的地图、找到了地图，可能地图本身不够高大上，终于地图问题解决了，又不知如何把自己的数据内容，添加上去，用专业的 GIS 软件吧，自己一时半会好像又玩不转；曲线救国，用 PhotoShop 吧， 操作繁杂费劲~~~
这是TCP/IP协议栈系列的第三篇文章，之前的一篇面试热点|理解TCP/IP传输层拥塞控制算法讲述了传统的拥塞控制算法基本原理，今天一起来学习下最新Linux内核中增加的拥塞控制算法：TCP BBR算法。
learn from https://github.com/Chinese-NLP-book/rasa_chinese_book_code
Paxos这个算法要很好地表达写出来并不容易，所以到现在还没有完成，于是就有了这篇组装的带有丝丝标题党感觉的干货文章，全小区最强TCP/IP总结...逃...
作者：engleliu，腾讯 PCG 开发工程师 本文主要介绍 TCP 拥塞控制算法，内容多来自网上各个大佬的博客及《TCP/IP 详解》一书，在此基础上进行梳理总结，与大家分享。因水平有限，内容多有不足之处， 敬请谅解。 一、TCP 首部格式 在了解 TCP 的拥塞控制之前，先来看看 TCP 的首部格式和一些基本概念。 TCP 头部标准长度是 20 字节。包含源端口、目的端口、序列号、确认号、数据偏移、保留位、控制位、窗口大小、校验和、紧急指针、选项等。 TCP 首部格式 1.1 数据偏移（D
当服务器的并发TCP连接数以十万计时，我们就会对一个TCP连接在操作系统内核上消耗的内存多少感兴趣。socket编程方法提供了SO_SNDBUF、SO_RCVBUF这样的接口来设置连接的读写缓存，linux上还提供了以下系统级的配置来整体设置服务器上的TCP内存使用，但这些配置看名字却有些互相冲突、概念模糊的感觉，如下（sysctl -a命令可以查看这些配置）： net.ipv4.tcp_rmem = 8192 87380 16777216 net.ipv4.tcp_wmem = 8192 65536
传统TCP拥塞控制算法都是基于丢包的算法,例如收包加法增，丢包乘法减，然而基于丢包的算法无法达到理论的时延、带宽最优解。
相信看到535报错的同学代码编写方面都没有问题，只是不明白为什么填写了帐号密码后还是报535错误，使用网易的126或者163邮箱都会有如此问题。
TCP连接上的吞吐量可以通过发送和接收应用程序、TCP的发送和接收实现以及TCP对等体之间的传输路径来限制。在本文我将介绍TCP接收窗口及其对TCP吞吐量的影响、TCP窗口扩展的使用以及Windows Vista和Windows Server 2008中新的接收窗口自动调整功能，这些功能可优化接收数据的TCP吞吐量。
大家好，我是网易云信音视频工程师肖磊，目前致力于实时音视频领域的QoS研究，通过优化拥塞控制算法，为用户提供高带宽利用率，低延时，抗抖动能力强的实时音视频服务。
说是网络，其实是网卡驱动。而且是针对于FREESCALE芯片的FEC端的驱动，我不知道别的芯片厂商的FEC模块是怎么样的， 但就我接触过的几款FREESCALE的芯片来看，比如基于POWERPC的860T和ARM系列的MX27等，他们的FEC有一个明显的特点就是 都是由BD和一个DMA缓冲组成，而这个DMA是专用的，也就是只是给FEC使用，区别于芯片内的DMAC模块。我们先来从fec.c这 个与硬件直接相关的看起： 首先找到module_init(fec_enet_module_init);这里fec_enet_module_init为入口点 fec_enet_module_init（） 首先调用fec_arch_init，它调用gpio_fec_active设置GPIO为FEC模式，然后如果有电源管理的话，就调用 mxc_fec_power_on开启电源。接着调用clk_get，clk_enable, clk_put设置FEC的CLOCK，这里退出fec_arch_init函数，接 着循环FEC_MAX_PORTS次，也就是有几个FEC就循环几次，在这里我们只有一个FEC，所以这个循环不用管。接下来因为我们 用的是以太网，所以调用dev = alloc_etherdev(sizeof(struct fec_enet_private));申请一个以太网设备描述，其中 struct fec_enet_private是用来描述FEC专有的数据结构。如下： /* The FEC buffer descriptors track the ring buffers. The rx_bd_base and * tx_bd_base always point to the base of the buffer descriptors. The * cur_rx and cur_tx point to the currently available buffer. * The dirty_tx tracks the current buffer that is being sent by the * controller. The cur_tx and dirty_tx are equal under both completely * empty and completely full conditions. The empty/ready indicator in * the buffer descriptor determines the actual condition. */ struct fec_enet_private { /* Hardware registers of the FEC device */ volatile fec_t *hwp; /* The saved address of a sent-in-place packet/buffer, for skfree(). */ unsigned char *tx_bounce[TX_RING_SIZE]; struct sk_buff* tx_skbuff[TX_RING_SIZE]; struct sk_buff* rx_skbuff[RX_RING_SIZE]; ushort skb_cur; ushort skb_dirty; /* CPM dual port RAM relative addresses. */ void * cbd_mem_base; /* save the virtual base address of rx&tx buffer descripter */ cbd_t *rx_bd_base; /* Address of Rx and Tx buffers. */ cbd_t *tx_bd_base; cbd_t *cur_rx, *cur_tx; /* The next free ring entry */ cbd_t *dirty_tx; /* The ring entries to be free()ed. */ struct net_device_stats stats; uint tx_full; spinlock_t lock; uint phy_id; uint phy_id_done; uint phy_status; uint phy_speed; phy_info_t const *p
大家好，我是来自学霸君的袁荣喜，本次分享内容的核心是BBR在实时视频传输中的实践。BBR其实是基于TCP的一种拥塞算法，在实时音视频中的运用也是一种全新的尝试，接下来我将会为大家逐一介绍这种尝试所带来的优缺点。
本周，联想公司成立“数据中心业务集团”，Twitter账号安全再陷危机，海致BDP与移动程序化广告平台Avazu就数据化精准营销达成合作……更多大数据事件请关注本周大数据周周看 联想公司成立“数据中心
最近对hive的join用的比较多，特地归纳下常用的各种连接，看看hive的连接和我们普通的是否有不同。创建ta.txt和tb.txt两个文件,加载数据：
1，首先从模块加载函数module_init(fec_enet_module_init);
系统自适应目的在于在保证系统稳定的同时尽可能提高吞吐量，是一种从整体维度综合考虑的一种限流方法。包括：系统Load、CPU使用率、整体入口QPS、总的并发线程数、平均RT。
在复杂的网络环境中，想要实现实时视频传输，拥塞控制算法是尤为重点的一环。本文整理自学霸君高级技术总监袁荣喜在LiveVideoStackCon 2019上海大会中的分享，详细介绍了BBR拥塞控制算法在实时视频传输中新的实践以及优缺点。
http://blog.csdn.net/defonds/article/details/48716161
请先阅读“中国年轻人正带领国家走向危机”，这锅背是不背？ 一文，以对“手把手教你完成一个数据科学小项目”系列有个全局性的了解。
order by（全局排序）：不经常用 sort by+distrbutre by ：经常用
本文介绍了在 Eclipse Maven 开发 Java EE 项目时，编译过程中出现的 “Dynamic Web Module 3.0 requires Java 1.6 or newer. One or more constraints have not been satisfied.” 错误的原因，并提供了解决方案。
微博足迹可视化：http://vis.pku.edu.cn/weibova/weibogeo_footprint/index.html
本文通过分析中国八大菜系菜谱数据，使用数据可视化的方式展示数据，并对数据进行挖掘和分析。通过BDP这个工具，实现了零代码的数据可视化图表，并针对数据中的菜品原料、口味、烹饪方式等特点，给出了相应的数据分析结论。
建立pom： 注：要和安装的hadoop版本一致，并且运行hdfs <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://mav
在互联网探索到Seeing Theory开始，感受到了数据可视化对于知识展示的魅力，它能够把令人眼花缭乱的数据以舒服的交互以及视觉效果呈现给学习者。
海致BDP进军教育市场，与恒企教育合作打造O2O教育新模式；九次方大数据与韩国The IMC集团达成战略合作，将共建舆情大数据平台；Teradata发布物联网分析加速器，将物联网数据转化为洞察信息……
基于 https://github.com/AUTOMATIC1111/stable-diffusion-webui
作者 | 赵亚 转载自CSDN网站 杭州待了一段时间，回到深圳过国庆假期，无奈温州皮鞋?厂老板过节要回温州和上海，不在深圳，也就没有见着，非常遗憾！ 国庆节当天，就写这个了。 我原本可能会在想国庆节的
<数据猿导读> UC正式摆脱浏览器的“枷锁”，要做阿里大文娱版块的“尖兵”；海致BDP与两家公司分别达成合作，医疗、社交多点开花；在线放贷平台LendUp完成4750 万美元融资，用APP代替传统银行
眼见冬去春来，阿里巴巴的气象offer依旧悬而未定。本文观天者来围观下大洋彼岸，美国大气和海洋管理局（NOAA），如何与云计算服务商们共建气象IT生态，以及对我们有哪些启示。
CREATE TABLE IF NOT EXISTS salgrade2 ( GRADE int, LOSAL int, HISAL int ) partitioned by (day string) row format delimited fields terminated by '\t' location '/data/inner/ODS/01/salgrade2';
先把效果图放上来，酷炫压场。看完本文，你就能轻松实现这个动态效果，全程只需几分钟！
导读：京东智慧物流在数据应用方面，主要是基于大数据预测分析技术实现智能化的调度、决策，提升物流效率，最终提升客户的体验。但面对亿级数据的业务场景，将会面临着不同的问题和不同的处理方案。今天讨论了京东物流在亿级数据管理和应用方面，利用Apache Doris进行的探索和实践。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
