一般命令的执行来自于标准输入（例如键盘输入，来自文件的命令也要转换为标准输入），执行完毕后将数据（处理结果或错误信息）传输到屏幕上，也即标准输出，但是这样导致屏幕十分杂乱，也不利于结果的保存查看。我们可以采用数据流定向手段将结果和错误信息传输到文件，定向方法如下：
1.软件的质量属性 1.1 性能 指系统的响应能力，即要经过多长时间才能对某个事件做出响应，或者在某段时间内系统所能处理事件的个数。 1.2 可用性 系统能够正常运行的时间比例。 1.3 可靠性 指软件系统在应用或错误面前，在意外或错误使用的情况下维持软件系统功能特性的基本能力。 1.4 健壮性 指在处理或环境中，系统能够承受压力或变更的能力。 1.5 安全性 系统向合法用户提供服务的同时能够阻止非授权用户使用的企图或拒绝服务的能力。 1.6 可修改性 指能够快速地以较高的性能价格比对系统进行变更的能力。
给定一棵二叉搜索树，请找出其中的第k小的结点。例如， （5，3，7，2，4，6，8）中，按结点数值大小顺序第三小结点的值为4。
声明：本文翻译自Conceptual Architecture of the Linux Kernel
Open vSwitch（OVS）项目的开发人员对其性能稍加改进，正如他们所说已经将其提升到了惊人的速度。 这项工作已经持续了一段时间，但具体细节直到今天才在Network Heresy博客上得以总结。这个团队也会在今天的Open vSwitch会议上进一步阐述细节方面做的改进，该会议在VMware总部—加州的Palo Alto举行。 OVS的核心问题，也是过去一到两年中这个团队优先考虑的问题，即它在处理Linux用户空间上花费太多时间，这也被称为慢路径。（另一种是在内核空间中的快速路径。）此前，该小组表示
计算机最重要的功能是处理数据。一个有用的计算机语言需要拥有良好的IO功能，以便让未处理的数据流入程序，让已处理的数据流出。 与其他语言相比，Java的IO功能显得复杂。在其他语言中，许多IO功能(比如读取文件)，是被封装好的，可以用一两行程序实现。在Java中，程序员往往需要多个层次的装饰(decoration)，才能实现文件读取。 相对的复杂性带来的好处是IO的灵活性。在Java中，程序员可以控制IO的整个流程，从而设计出最好的IO方式。我们将在下文看到更多。 IO示例 下面是我用于演示的文件file.
标准错误输出：在Linux中是stderr，在JAVA中是System.err，在Golang中是Print()/Println()
PS：这是web端的fiddler里面的抓取设置，后续增加app端的抓取设置。重点是先了解熟悉这个软件。
相信大家平时都会有需要复制粘贴数据的时候，如果是打开文件进行复制粘贴，就不可避免的需要较多的鼠标与键盘的操作，就会比较繁琐。那么有没有可以省掉这些繁琐操作的复制粘贴的方法呢? 答案是肯定的，那就是重定
计算机最重要的功能是处理数据。一个有用的计算机语言需要拥有良好的IO功能，以便让未处理的数据流入程序，让已处理的数据流出。
本文将对Kafka做一个入门简介，并展示如何使用Kafka构建一个文本数据流管道。通过本文，读者可以了解一个流处理数据管道（Pipeline）的大致结构：数据生产者源源不断地生成数据流，数据流通过消息队列投递，数据消费者异步地对数据流进行处理。
事实是这样的：如果你不了解这些研究对象是不可能搞好安全研究的。 这样看来，Web有八层（如果把浏览器也算进去，就九层啦，九阳神功……）！！！每层都有几十种主流组件！！！这该怎么办？ 别急，一法通则万法通，这是横向的层，纵向就是数据流啦！搞定好数据流：从横向的层，从上到下→从下到上，认真看看这些数据在每个层是怎么个处理的。 数据流中，有个关键的是HTTP协议，从上到下→从下到上的头尾两端（即请求响应），搞通！难吗？《HTTP权威指南》720页！！！坑爹，好难！！！ 怎么办？ 横向那么复杂、纵向数据流的HTTP协议就720页的书！！！放弃好了…… 不，千万别这样。 给你点信心是：《HTTP权威指南》这本书我压根没看过。但是通过百度/Google一些入门的HTTP协议，我做了大概了解，然后Chrome浏览器F12实际看看“Network”标签里的HTTP请求响应，不出几小时，就大概知道HTTP协议这玩意了。（这是快速研究的精髓啊） 搞明白HTTP协议后，你就会明白安全术语的“输入输出”。 黑客通过输入提交“特殊数据”，特殊数据在数据流的每个层处理，如果某个层没处理好，在输出的时候，就会出现相应层的安全问题。 精彩举例：
目前互联网业界主流的服务器开发系统主要包括linux和windows两款操作系统，很多网络服务商需要获取客户端的真实IP和Port，特别是IP地址，对业务策略进行制定，优化；同时客户端的IP和Port信息作为基本的统计数据，对线上业务运营的监控和评估具有非常重要的意义。大部分情况下，服务器端可以通过网络API直接获取连接的网络信息，但是针对服务器前侧添加了代理的网络框架来说，就无法直接通过网络API来获取了。而TOA通过扩展TCP首部的可选字段，可以很好的将客户的真实的IP和Port信息传递到服务器端。因此需要一种手段可以在服务器侧来解析TOA字段，linux系统下的获取在业界有比较成熟的方法获取，但是windows系统下至今没有一种成熟的方案去获取。
我们知道TEEOS最重要的功能莫过于安全存储了，这是一切安全的前提，根据存储安全性和使用场景GP TEE安全存储分为RPMB安全存储、SFS安全存储和SQLFS安全存储。如下图所示，临时对象、持久化对
taskctl是一款国内开源的ETL工具，纯C编写，可以在Window、Linux、Unix上运行。
眨眼间，2018 年的上半年就这样飞逝而过，在上半年的工作中，接触最常规的安全事件就是服务器或者办公主机被远控作为肉鸡挖矿来获取利益或者对其它网站进行 DDoS 攻击，今天分享一下如何利用 Linux 常规的 SSH 弱口令爆破 Linux 服务器并利用该服务器进行挖矿及对其它网站进行 DDoS 攻击，攻击即分析流程较为简单，如有不适之处，欢迎斧正。
今天给大家介绍的是一款名叫Joy的工具，该工具能够捕捉并分析网络流数据以及系统内部流数据，研究人员可以利用这些数据以及分析结果来进行网络研究、取证以及安全监控等活动。 工具下载 下载地址：点击阅读原文
版权声明：博客文章都是作者辛苦整理的，转载请注明出处，谢谢！ https://blog.csdn.net/Quincuntial/article/details/54349059
符号 作用 Linux通配符 * 匹配任意（0个或多个）字符或字符串，包括空字符串 ？ 匹配任意1个字符，有且只有一个字符 [abcd] 匹配abcd中任何一个字符，abcd也可是其他任意不连续字符 [a-z] 匹配中a到z之间的任意一个字符， a到z表示范围，字符前后要连续，-表示范围的意思，也可以用连续数字[1-9] [!abcd] 同[^abcd]，表示不匹配括号里面的任何一个字符，也可为[!a-d] Linux特殊符号
从个人的嵌入式开发从业经历（10年+）和个人体会来说，如果非要说做底层和做应用哪个好？我个人的答案是：适合你自己的技术栈范围就好，适合你自己的技术追求就好。不要非要争个高下，毕竟这两块是嵌入式开发领域的左膀右臂。你能说你的左胳膊比你的右胳膊好？还是你的右胳膊更优秀一点？所以说，适合就好。
如果你对 Linux 流控感兴趣，如果你需要搭建高性能的 Linux 网关 , 本文将会使你受益颇多。
接口测试理论与实践 活动时间：2016年8月11日 QQ群视频交流 活动介绍 : TMQ在线沙龙第六期分享 本次分享的主题是接口测试理论与实践相关的知识。 共有来自98个公司的226位测试小伙伴报名参加活动，在线观看视频人数123人~想知道活动分享了啥吗？往下看吧！ 活动嘉宾 嘉宾简介 陈诚，腾讯测试工程师，负责腾讯手机管家桌面助手，主界面模块的测试工作，熟悉UI自动化测试，接口测试，接口测试框架二次开发，以及性能专项测试，对H5性能测试有一定研究。 分享主题 接口测试基础简介 接口测
IO 其实就是 Input 和 Output，在操作系统中就对应数据流的输入与输出。这个数据流的两端，可以是文件，也可以是网络的一台主机。但无论是文件，还是网络主机，其传输都是类似的，我们今天就以源头为文件进行说明。
1.CPU 发起的，访问PCIe设备配置空间的数据流。这种数据流主要是BIOS/Linux PCIe driver 对设备进行初始化、资源分配时，读写配置空间的。包括PCIe 枚举，BAR 空间分配， MSI 分配等。 设备驱动通过 pci_wirte_config() / pci_read_config() 发起配置空间访问。 lspci / setpci 也是对应到配置空间访问。
进程调度器是Linux内核中最重要的子系统。其目的是控制对计算机CPU的访问。这不仅包括用户进程的访问，还包括其他内核子系统的访问。
对kafka来说，这是一个激动人心的时刻。kafka被成千上万个组织使用，包含了三分之一的世界500强公司。它是增长最快的开源项目之一，围绕它产生了一个巨大的生态系统。它是管理和处理流式数据的核心。那么kafka从何而来？我们为什么要建造它？它到底是什么？ Kafka最初是我们在Linkedin开发的一个内部基础性系统。我们的初衷很简单：有很多数据库和系统能够存储数据，但是缺少对连续不断的流式数据的处理。在创建kafka之前，我们对各种现有的技术进行选择，从消息传递系统到日志聚合和ETL工具等，但是没有一个能很好的满足我们的需求。 我们最终决定从头开始。我们的想法是，与其像关系数据库、key-value数据库、搜索引擎、缓存数据库等专注保存大量的数据，我们将专注于数据的流式处理-建立一个数据系统-实际上是基于这个想法的数据架构。 这个想法被证明比我们预期的更加广泛适用。虽然kafka一开始只是在社交网络场景下支撑实时应用和数据流式处理，你现在可以看到它是每个行业的架构核心，大型的零售商正在重新围绕流式数据设计他们的基础业务、汽车制造企业正在收集和处理物联网汽车实时数据流、银行也正在重新考虑建立围绕kafka的基础业务处理和系统。 那么kafka究竟是怎么回事呢，它与你已经知道和使用的系统相比如何？ 我们认为kafka是一个流式处理平台：允许对流式数据进行发布订阅、存储和处理，这正是apache kafka的设计初衷。这种数据的处理方式可能与你习惯的方式有点不同，但是对抽象应用程序的体系结构收到了难以置信的效果。kafka经常被拿来与现有的三个技术领域做比较：企业消息系统、大数据系统hadoop以及其数据集成和etl工具。这些比较虽然能说明一部分问题，但是存在着诸多的局限性。 Kafka像传统的消息队列一样，支持对消息的发布和订阅。在这方面类似于activeMQ、RabbitMQ、IBM的MQSeries以及其他的消息队列产品。但是即便有这些相似之处，kafka还是与传统的消息队列存在跟不上的区别，使得kafka完全是另外一种系统。kafka与传统的消息系统相比有三个最大的区别：首先,kafka是一个作为完全分布式系统的集群系统。即便在规模最大的公司也能将分布式扩展到所有的应用之上。而不是像传统的消息队列，需要运行几十个单独的消息broker,手动指定不同的应用。这使得你有了一个中心平台可以灵活应对公司内部的各种数据流。其次，kafka是一个真正的存储系统，可以持久化存储你想要的任何数据。这是一个巨大的优势，它实现了真正的传输保证，其数据复制了多个副本、支持持久化，并且可以随时保存。最后，流式处理的概念大大提高了数据处理的抽象水平，传统的消息队列中，消息队列只是分发消息。而kafka的流式处理能力让你用更少的代码就可以实现对数据的动态流式计算。这些差异让kafka自成体系，简单的只是认为kafka是另外一种消息队列是没有任何意义的。 另外一个关于kafka的观点，也是我们设计和开发kafka的初衷之一，我们可以把kafka看成一个实时版本的hadoop。hadoop允许周期性的存储和处理大规模的文件和数据，kafka让你可以对大规模持续的数据流进行存储和处理。在技术层面上，二者肯定存在相似之处。许多人将新兴的流式处理当作是hadoop批处理的超集。这种比较忽略了数据的连续性，低延迟的处理与自然的批处理的存储很大的不同。而hadoop的大数据分析能力，通常应用在数仓之上，不具有实时性，而kafka的低延迟特性，则让实时数据处理分析直接应用到业务的核心应用成为了可能。这使得当业务在进行的时候，可以有能力对业务的各种情况进行反应，当业务的各种情况出现时，就可以构建直接支持操作的服务，对业务进行反馈或者反馈客户体验等等。 与kafka进行比较的最后一个领域是ETL或者数据抽取工具。毕竟，这些工具移动数据，而kafka也可以移动数据。这是有一定到理的，但是我认为，核心区别在于kafka反转了这个问题，kafka是一个面向数据实时处理的平台，而不是从一个系统抽取数据插入另外一个系统的工具。这意味着kafka不仅可以连接现成的应用程序和系统，还可以支持自定义应用程序来触发这些相同的数据流。我们认为围绕事件流的架构设计是非常重要的。在某些方面，这些流动的数据流是现代数据是公司最核心的内容，与你在财报上看到的现金流同等重要。 结合这三个领域的能力，在所有的用例中将所有的数据流聚集到一起，这就是为什么流平台如此引人入胜的原因。
选自Github 机器之心编译 今日，中科院计算所研究员徐君在微博上宣布「中科院计算所开源了 Easy Machine Learning 系统，其通过交互式图形化界面让机器学习应用开发变得简单快捷，系统集成了数据处理、模型训练、性能评估、结果复用、任务克隆、ETL 等多种功能，此外系统中还提供了丰富的应用案例，欢迎大家下载使用。」在此文章中，机器之心对开源的 Easy Machine Learning 系统进行了介绍。 GitHub 项目地址：https://github.com/ICT-BDA/Eas
软件定义交换机似乎给网络运营商提供了许多功能，但在拉斯维加斯Black Hat 2015全球顶尖安全会议上，一篇名为《STAYING PERSISTENT IN SOFTWARE DEFINED NE
当前最著名的交互式编程环境莫属Jupyter Notebook了，程序员可以启动一个交互的Session，在这Session中编写代码、执行程序、获取结果，所见即所得。
重点：软件需求分为 业务需求、用户需求和系统需求，三大类。（重点：业务需求、用户需求和系统需求）
网络安全是当今互联网时代中不可忽视的问题，随着网络技术的不断发展，网络攻击手段也变得越来越复杂和隐蔽，因此网络安全工作者需要具备一定的技术能力和工具使用能力，其中WireShark是一款广泛使用的网络协议分析工具，可以帮助用户深入了解网络数据包的传输过程，从而提高网络安全防护的能力。本文将介绍WireShark的对象导出功能，帮助读者更好地利用这一功能进行网络数据包分析和安全防护工作
1.Shell是操作系统的外壳，是用户操作系统的命令接口，是一个介于用户和系统内核之间的桥梁。Shell接受用户以命令方式输入的命令（包括系统提供的内部命令、独立存在于某个目录下的程序），也能解释执行由Shell命令编写的Shell程序。Shell还是一个功能强大的编程语言，易编写、易调试、灵活性强。
根据用户提供的文章内容进行摘要总结
介绍一旦检测到APT攻击事件，取证分析将使用系统审计日志来快速定位入侵点，并确定攻击的影响。由于APT攻击的高持久性，将存储大量数据以满足取证分析的需要，这不仅带来了巨大的存储开销，而且还急剧增加了计算成本（在现实世界中，政府和企业往往需要同时在数千台机器上收集数据，原始数据量很容易达到PB级）。因此，需要实现数据压缩方法，本文提出了一种通用、高效、实时的系
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。
现在越来越多的电子设备采用USB接口进行通讯，通讯标准也在逐步提高。那么，我们就会好奇这些设备是如何工作的？而无论你是一个硬件黑客，业余爱好者或者只是对它有一点兴趣的，USB对我们都是具有挑战性的。 事实上通过wireshark，我们可以捕获到usb设备发送给我们主机的数据，这样就可以进一步研究了。 本文中，我们将向大家介绍怎样通过wireshark捕获usb数据，使用的环境如下： l Wireshark 2.0.1（SVN）l Linux kernel 4.1.6 你也可以用其他版本的wiresh
1 什么是数据流重定向？ Linux中，数据流的重定向被分为输入重定向 和 输出重定向。 输出重定向 将原本应该输出到屏幕上的信息输出到文件中。 当执行一个命令后，该命令输出的结果本应该显示在屏幕上。但输出重定向能让命令的执行结果保存到文件中去。 此外，由于Linux中的设备都是以文件的形式存在，因此输出重定向还可以将命令执行的结果输出到指定设备上去。 命令 > 文件 命令的执行结果将会保存到>后面的文件中去，而不会在屏幕上显示。 输入重定向 将原本应该从键盘输入数据的方式改为从文件中读取
20.1 什么是正则表达式 20.1.1 定义 正则表达式是你所定义的模式模板。linux工具可以用它来过滤文本。 正则表达式利用通配符来描述数据流中第一个或多个字符。 正则表达式模式含有文本或特殊字符，为sed编辑器和gawk程序定义了一个匹配数据时采用的模板。 20.1.2 正则表达式的类型 使用正则表达式最大的问题在于有不止一种类型的正则表达式。 正则表达式是通过正则表达式引擎实现的，正则表达式引擎是一套底层软件，负责解释正则表达式模式并使用这些模式进行文本匹配。 在linux中有两种流行的正则表达式
我们如今的计算机比如笔记本，或者是服务器，基本上都遵循冯诺依曼体系结构，所谓冯诺依曼体系实际上就是我们的计算机是由以下这些硬件构成：输入设备、存储器、运算器、控制器、输出设备。
2017国庆快乐，非常开心，难得有充足的时间，可以撸代码。最近人工智能的风口很火爆，基于我掌握的情况，可以先了解，最好复习下高中数学知识（矩阵，多维数据，多元N次方程式）。不然很难看懂学习模型，学习公式。 从关系上讲： 人工智能(Artificial Intelligence)是一个最广泛的概念，人工智能的目的就是让计算机这台机器能够象人一样思考或者通过一些算法来达到，而机器学习(Machine Learning)是人工智能的分支，而深度学习（Deep Learning）是人工智能和机器学习的内在，即使用包含复杂结构或由多重非线性变换构成的多个处理层（神经网络）对数据进行高层抽象的算法。所以三者关系应该式从外到内：AI→ML→DL→神经网络
流的英文stream，流（Stream）是一个抽象的数据接口，Node.js中很多对象都实现了流，流是EventEmitter对象的一个实例，总之它是会冒数据（以 Buffer 为单位），或者能够吸收数据的东西，它的本质就是让数据流动起来。可能看一张图会更直观：
在spark的一开篇（可以见我的spark（1）这篇博客），我们就谈到了sparkstreaming可以快速的处理数据流。 我们可以从sparkstreaming处理新的流式数据再传给sparksql进行计算，或者spark生态中的MLlib去进行数据的实时更新进行机器学习等。 类比于spark-core和sparksql，写sparkstreaming代码也要创建自己的上下文Streaming Context（通过spark context来获取streaming context，并且还要指定一个时间间隔），通过Streaming Context获取到的数据可以称为DStreams模型，如果一个Streaming Context已经开启，那么就不允许新的DStream建立，并且当Streaming Context停止以后，就不允许重新启动，DStreams模型是由一串连续的RDD构成，每个RDD都有前面定义的时间间隔内的数据，所以操作DStreams里的数据其实也是操作RDD。 处理DSream的逻辑一定要在开启Streaming Context之前写完，一旦开启就不能添加新的逻辑方式。
我在公众号菜单里面新加一个“看图写话”的入口。内容么，顾名思义，就是看着图聊聊。控制字数真的很难，我尽量。
ETL代表提取、转换和加载。它是从任何数据源中提取数据并将其转换为适当格式以供存储和将来参考的过程。
写Java的朋友一定对上面的命令很熟悉，相信大部分人都知道>表示的是重定向，那么什么是重定向？2>&1又是什么意思？
公众号改名字了，原名是txp玩Linux，新的名字如大家看到的一样：飞一样的成长，也希望大家在技术上能够快速成长！
由此可知，Intel i7-7700CPU支持AVX2指令集，但是不支持AVX-512指令集。 AVX512-IFMA为Intel AVX512指令集的一个extension扩展集，主要用于加速整数运算。 根据https://medium.com/@hdevalence/even-faster-edwards-curves-with-ifma-8b1e576a00e9 可知，其基于AVX512-IFMA的实现是AVX2速度的1.5倍。
Linux 中，常使用流编辑器 sed 进行文本替换工作。与常使用的交互式编辑器（如vim）不同，sed 编辑器以批处理的方式来编辑文件，这比交互式编辑器快得多，可以快速完成对数据的编辑修改。
领取专属 10元无门槛券
手把手带您无忧上云
