我猜,你读这篇文章,说明你已经对Linux安全模块(LSM)有所了解。如果你使用过SELinux或AppArmor,其实就已经用过LSM了。甚至,在你使用的Linux发行版本或Android系统之上,也使用了LSM。
MCU:Micro Control Unit,微控制单元,如 STM32 单片机。
本文记录了对某发行版Linux中一个安全模块(LSM)的逆向过程,该LSM对系统中待运行的程序进行安全校验,数据流穿越内核态与用户态,涉及系统内核及系统服务。此LSM对系统安全性的增强效果明显,其设计思路值得防守方研究学习,可于个人终端或服务器安全防护中应用。特此对逆向内容记录,希望能为读者在终端防护方面拓宽思路,同时欢迎感兴趣的师傅们交流学习。
作为目前数据库引擎的两种主要数据结构,LSM-tree和B+-tree在业界已经有非常广泛的研究。相比B+-tree,LSM-tree牺牲一定的读性能以换取更小的写放大以及更低的存储成本,但这必须建立在已有的HDD和SSD的基础上。 探索前沿研究,聚焦技术创新,本期DB·洞见由腾讯云数据库高级工程师王宏博进行分享,主要介绍一篇2022年FAST的论文,主题为“基于硬件透明压缩的B+树优化”。本次分享的论文针对可计算存储SSD(支持硬件透明压缩)提出了三种有趣的设计方法,从而极大地减少了B+-tree的写放大
假设你已经了解了LSM内核安全模块,也知道如何使用它们加固系统的安全。但是,你还知道了另一种工具seccomp(Linux安全计算)。你可能非常想知道,LSM和Seccomp有什么区别?为什么不能将Seccomp设计为LSM模块?什么时候使用Seccomp?接下来,且听我娓娓道来。
关于bpflock bpflock是一款基于eBPF驱动的Linux设备安全审计工具,该工具使用了eBPF来帮助广大研究人员增强Linux设备的安全性。通过限制对各种Linux功能的访问,bpflock能够减少攻击面并阻止一些众所周知的攻击技术。 bpflock只允许类似容器管理器、systemd和其他以主机PID或网络命名空间运行的容器/程序访问完整的Linux功能,并限制那些以自己命名空间运行的容器或程序。如果bpflock在受限配置文件下运行,则所有程序/容器(包括特权程序/容器)都将被拒绝访问。
一、SELinux的历史 SELinux全称是Security Enhanced Linux,由美国国家安全部(National Security Agency)领导开发的GPL项目,它拥有一个灵活而强制性的访问控制结构,旨在提高Linux系统的安全性,提供强健的安全保证,可防御未知攻击,相当于B1级的军事安全性能。比MS NT的C2等高得多。 SELinux起源于自1980开始的微内核和操作系统安全的研究,这两条研究线路最后形成了一个叫做的分布式信任计算机(Distribute Trusted Mach
当我们执行系统调用的时候,会首先对某些错误情况进行检查,如果失败通常会得到一些 error 信息,通过查看全局变量 errno 可以知道到底是哪一类错误
KubeArmor 是一个云原生运行时安全强制系统,它在系统级别限制容器和节点的行为(如进程执行、文件访问和网络操作)。
前段时间,我们的项目组在帮客户解决一些操作系统安全领域的问题,涉及到windows,Linux,macOS三大操作系统平台。无论什么操作系统,本质上都是一个软件,任何软件在一开始设计的时候,都不能百分之百的满足人们的需求,所以操作系统也是一样,为了尽可能的满足人们需求,不得不提供一些供人们定制操作系统的机制。当然除了官方提供的一些机制,也有一些黑魔法,这些黑魔法不被推荐使用,但是有时候面对具体的业务场景,可以作为一个参考的思路。
ROP的全称为Return-oriented programming(返回导向编程),这是一种高级的内存攻击技术可以用来绕过现代操作系统的各种通用防御(比如内存不可执行和代码签名等)。通过上一篇文章栈溢出漏洞原理详解与利用,我们可以发现栈溢出的控制点是ret处,那么ROP的核心思想就是利用以ret结尾的指令序列把栈中的应该返回EIP的地址更改成我们需要的值,从而控制程序的执行流程。
上一期介绍了一下tinkerboard2 Android11下面适配DSI屏幕的方式(https://blog.csdn.net/chenchen00000000/article/details/124721846),这一期来介绍一下如何支持触摸与屏幕自动旋转。触摸与屏幕自动旋转是Android设备上面的标配功能。
LSM-tree是由两个或两个以上存储数据的结构组成的。最简单的LSM-tree有两个部分,如下图所示。常驻内存部分,称为C_0树(或C_0),其可以设计为任何方便键值查找的数据结构,常驻硬盘部分,称为C_1树(或C_1)。C1进一步可延申为C_2,C_3等等。
类型:技术专栏 作者介绍 张凯(Kyle Zhang),SmartX 联合创始人 & CTO。毕业于清华大学计算机系,研究方向为分布式系统和体系结构。2013 年与徐文豪、王弘毅联合创立 SmartX,主导自主研发了 SmartX 分布式文件系统 SmartX ZBS。SmartX 拥有国内最顶尖的分布式存储和超融合架构研发团队,是国内超融合领域的技术领导者。 本文转载自知乎专栏 @SmartX 技术博客,点击底部“阅读原文”进入博客浏览更多文章。 过去半年阅读了 30 多篇论文,坚持每 1~2 周写一篇
很多人在接触 LoRa 时经常会问一个问题:LoRa 是什么?LoRaWAN 是什么?对这两个概念迟迟不能理解。
Michael Crosby是如今最有影响力的Docker容器开发人员之一,他帮助领导containerd的开发以及担任Open Container Initiative(OCI)技术监督主席。近日,他在DockerCon 19上,Crosby在演讲中概述了Docker的过去,现在以及未来。Docker的早期历史与Linux密切相关,事实证明,Docker的未来也是如此。
最近在学习edx的HarvardX TinyML 3 - deploying TinyML。这个在线课程大大降低了TinyML的学习曲线的陡峭度,可以作为《TinyML: Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers》的有益补充。原书是TensorFlow-Lite-Micro相关设计的提纲挈领,但是成书到发行期间,TFLM一直也在发展中,书中的代码到实践时候就有差异;《TinyML》也没有把实践部署讲的很透彻,个人认为在于TFLM采用工业化的pipeline解决依赖(不同硬件平台的编译、库、工具链的依赖);《TinyML》在阐述硬件平台移植相关章节,没有把工具链从官方的工业pipeline完整的剥离出来,也导致了光看书无法复现。为什么敢这么说?徒手把TFLM移植到nrf52840的淘宝开发板上,书忽略了nrf平台工具链的构建,以及如何和tf编译系统联动的设计。工作原因没有精力继续TinyML的爱好了。Harvard在线课程给了个契机继续,毕竟看视频比看code和实操要省力好多。
安全提供商正在利用 eBPF 的可观测性来预防攻击,检测和修复高优先级漏洞(并区分严重和不那么严重的漏洞),检测可疑活动等。
不同的数据库存储系统都会设计不同的索引结构来优化查询/写入效率, 在讨论这些结构之前, 我们先从头回顾一下计算机存储的一些设计
一、前言 Unix和类Unix操作系统提供的ptrace系统调用支持一个进程控制另一个进程,常被用于程序调试、分析和监测工具,例如gdb、strace等。通过ptrace可以查看和修改被控制进程的内部状态,因此渗透攻击在注入shellcode时也会使用ptrace。本文介绍一种Linux下使用ptrace隐藏注入shellcode的技术和防御方法。 二、背景 不同版本操作系统有各自实现ptrace系统调用的方式,本文只关注Linux环境,因此先简单说明Linux下ptrace系统调用的用法。首先定义控
技术雷达是什么 技术雷达是由 ThoughtWorks 技术战略委员会(TAB)经由多番正式讨论给出的最新技术趋势报告,它以独特的雷达形式对各类最新技术的成熟度进行评估并给出建议,为从程序员到CIO/
按照以下步骤设置Arduino IDE应用程序,该应用程序用于将推理模型上载到您的电路板,并在下一节中从电路板下载培训数据。因为我们需要在Arduino IDE中下载和安装特定的板和库,所以比使用Arduino Create web editor要多几个步骤。
eBPF(extended Berkeley Packet Filter)是一种高性能的内核虚拟机,可以运行在内核空间中,用来收集系统和网络信息。随着计算机技术的不断发展,eBPF 的功能日益强大,进而被用来构建各种效率高效的在线诊断和跟踪系统,以及安全的网络和服务网格。
本文为《数据密集型应用系统设计》的读书笔记第一部分第三章的笔记整理,也是个人认为的这本书第一部分最重要的内容。本文将会针对目前数据库系统两个主要阵营进行展开,分别是采用日志型存储结构高速读写的LSM-Tree和面向OLTP的事务数据库BTree两种数据结构对比。
KubeArmor是一个支持容器的运行时安全实施系统,它可以从系统级别限制容器的行为(如进程执行、文件访问、网络操作和资源利用率)。
当前文章介绍如何在Linux系统下编写一个DS18B20温度传感器驱动,测量环境温度,并将DS18B20注册成字符设备,通过文件接口将温度数据传递给应用层。
ST官方参考代码: https://github.com/STMicroelectronics/STMems_Standard_C_drivers/tree/master/lsm6dso_STdC,ST的传感器,基本都在这里能找到。 其他参考代码: https://github.com/arduino-libraries/Arduino_LSM6DSOX https://github.com/micropython-Chinese-Community/mpy-lib/tree/master/sensor/LSM6DSO。
虽然分为上下篇介绍,但两篇文章的内容之间比较独立,完全可以单独阅读。 下篇链接如下: lsm派系(不仅lsm tree)存储模型概述(下篇)
解决物流运输过程中监管缺失,证据锁定难,争议问题各执一词的“痛点”。在物流运输过程中,存在一部分违规(违约)的行为,如未按厂家环境要求进行存放货物,摆放货物,倒置货物,甚至出现货物跌落等情况。当损失发生后,货物外包装未损坏,或凭借肉眼,简单检查不足以发现问题,但此时货物已经不能达到验收标准。这时是物流导致的运输过程中的损坏,还是厂家出厂的质量问题?解决这个争议就需要一个货物运输监督智能卡来记录货物状态。
系统时间:是由主芯片的定时器进行维护的时间,一般情况下都会选择芯片上最高精度的定时器作为系统时间的定时基准,以避免在系统运行较长时间后出现大的时间偏移。特点是掉电后不保存。
在当今信息时代,数据的存储和管理变得越来越重要。无论是云存储、数据库还是分布式文件系统,都需要高效的数据存储和检索方法。其中,LSM树(Log-Structured Merge Tree)是一种高性能的数据结构,广泛应用于各种分布式存储系统和数据库引擎中。本文将介绍LSM树的原理,并探讨其在不同使用场景中的应用。
随着数据量的增大,传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库,我们了解其底层存储结构是非常重要的。本文将介绍下分布式关系型数据库 TiDB 所采用的底层存储结构 LSM 树的原理。
玩过安卓的朋友应该都对 root 这个名词不陌生,曾几何时,一台 root 过的手机是发烧友标配;对于开发者来说,root 后的手机是黑灰产外挂的温床,是想要极力避免和打击的目标;而对于安全研究人员来说,root 则意味着更多 —— Towelroot、PingPongRoot、DirtyC0w、ReVent,那些有趣的漏洞和精妙的利用,承载了不少的汗水和回忆。
以 Mysql、postgresql 为代表的传统 RDBMS 都是基于 b-tree 的 page-orented 存储引擎。现代计算机的最大处理瓶颈在磁盘的读写上,数据存储无法绕开磁盘的读写,纯内存型数据库除外,但由于内存存储的不稳定性,我们一般只将内存型的存储作为缓存系统。
这部分内容主要回答我们在文章开头提到的第二个问题。第二个问题展开其实是一连串的问题。例如:lsm派系难道只有lsm tree这一类存储模型吗?如果答案是否定的,那么除了lsm tree存储模型外,还有哪些lsm 模型?这些模型之间又有哪些相同点和差异点?
WiscKey 的提出,主要是为了优化 LSM-Tree 的写放大问题。此前已经有不少论文讨论过这个问题,如 LSM-trie 和 PebblesDB,但是大部分优化方法都不是很彻底——简单说就是,优化效果太差,或者不够通用。WiscKey 提出的是一种比较通用、效果明显且简单易懂的方法。
在有代表性的关系型数据库如MySQL、SQL Server、Oracle中,数据存储与索引的基本结构就是我们耳熟能详的B树和B+树。而在一些主流的NoSQL数据库如HBase、Cassandra、LevelDB、RocksDB中,则是使用日志结构合并树(Log-structured Merge Tree,LSM Tree)来组织数据。本文先由B+树来引出对LSM树的介绍,然后说明HBase中是如何运用LSM树的。
在评估和选型数据库的时候,人们往往将重点放在数据建模的灵活性,一致性保证,线性可伸缩性,容错性,低延迟,高吞吐量和易于管理等方面。但怎么才能评判出这些指标呢?很多人往往会网上一通搜索和看官方文档,再加上自己的“经验”来得出这些指标。
2006年,Google 发表了 BigTable 的论文。这篇论文提到 BigTable 单机上所使用的数据结构就是 LSM。
随着云服务基础架构以及微服务技术的日益成熟,很多大型系统能够分解为根据应用 workload 需求的多个子系统,再通过网络交互组装在一起协同工作。 Nova-LSM,一个将基于LSM-Tree的分布式KV 存储系统分解为使用RDMA进行通信的组件的工作。这些组件将存储与处理分开,使处理组件能够共享存储带宽和空间。处理组件将文件块 (SSTable) 分散到任意数量的存储组件中,并通过一定机制平衡它们之间的负载,在运行时动态构建范围以并行化压缩并提高性能。Nova-LSM 具有很好的可伸缩性,在一些场景下性
最近遇到两个问题,wriedtiger引擎到底支持不支持LSM tree , 2 为什么percona的mongodb Dump 了ROCKSDB 的数据库引擎.
在使用QXDM打印高通sensor日志的时候,经常会发现有些赋予已经权限很高的log居然打印不出来,这就个代码的追踪带来了一系列困难,鉴于此,我研究了一下高通中log打印问题,给大家今后的使用带来一些经验。 在高通的关于日志的头文件定义中,许多日志是默认不打开的,研究代码:
在现代生物学研究领域,可视化和理解组织和生物体内复杂结构的能力至关重要。经过组织透明化和特定结构染色后的光片显微镜 (LSM) 提供了一种高效、高对比度和超高分辨率的方法,可用于可视化各种样本中的各种生物结构,例如细胞和亚细胞结构、细胞器和过程。在组织透明化步骤中,在保持样本完整性和标记结构荧光的同时,原本不透明的生物样本变得透明,从而使光线能够更深入地穿透组织。在结构染色步骤中,可以使用各种染料、荧光团或抗体来选择性地标记样本内的特定生物结构并增强其在显微镜下的对比度。通过与结构染色和组织透明化步骤相结合,LSM 为研究人员提供了前所未有的能力,能够以高空间分辨率可视化复杂的生物结构,为神经科学、免疫学、肿瘤学和心脏病学等各种生物医学研究领域提供新的见解。在不同的生物医学研究领域中,为了分析 LSM 图像,分割在识别和区分不同的生物结构方面起着关键且必不可少的作用。对于非常小规模的 LSM 图像,可以手动进行图像分割。然而,在整个器官或身体 LSM 情况下,手动分割非常耗时,单个图像可能有 10000^3 体素,因此对自动分割方法的需求很高。基于深度学习的分割方法的最新进展为 LSM 图像的自动分割提供了有希望的解决方案。虽然这些方法的分割性能与专家人类注释者相当,但它们的成功很大程度上依赖于从大量手动注释图像训练集中进行监督学习,这些图像特定于一种结构染色。然而,对各种 LSM 图像分割任务进行大规模注释提出了巨大的挑战。在这种情况下,自监督学习被证明是有利的,因为它允许深度学习模型在大规模、未注释的数据集上进行预训练,学习 LSM 图像数据的有用和通用表示。随后,该模型可以在较小的标记数据集上进行微调,以完成特定的分割任务。值得注意的是,尽管存在大量不同生物结构的 LSM 数据,但自监督学习尚未在 LSM 领域得到广泛探索。LSM 图像的一些特性(例如高信噪比)使数据特别适合自监督学习。
LSM树(Log-Structured-Merge-Tree)的名字往往会给初识者一个错误的印象,事实上,LSM树并不像B+树、红黑树一样是一颗严格的树状数据结构,它其实是一种存储结构,目前HBase,LevelDB,RocksDB这些NoSQL存储都是采用的LSM树。
RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构,支持高吞吐量的写入和快速的范围查询,可被嵌入到应用程序中,实现持久化存储,支持水平扩展,可以在多台服务器上部署,实现集群化存储,具有高度的可靠性和稳定性,易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识:
在本系列的第三章中介绍了 clickhouse 通过 block 和 lsm 来减少磁盘读取的数据量。严谨的逻辑应该时 clickhouse 通过 lsm 算法来实现数据预排序,从而减少了磁盘读取的数据量,本章番外主要为读者介绍什么是 LSM 算法,对 LSM 算法已经有了解的读者可以跳过本章。
领取专属 10元无门槛券
手把手带您无忧上云