首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

「首度揭秘」大规模HPC生产环境 IO 特征

在王坚博士的《在线》一书中提到,单纯谈数据的“大”,意义是不大的。欧洲核子研究中心(CERN)进行一次原子对撞产生的数据大到惊人,而如何通过计算的方式去挖掘出这些数据背后的价值,才是数据意义的本身。HPC高性能计算,就是完成这种价值转换的重要手段。近年来,HPC的应用范围已经从纯学术扩展到资源勘探、气象预测、流体力学分析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据,并将其存储在PB级别的共享的高性能文件系统中。然而,无论是HPC应用的用户,还是高性能文件系统的开发人员,对这些文件的访问模式了解都非常有限。

05

Golang中一些知识高阶知识点的梳理

由于自己的新课程要上线,需要一个答疑的社区,因为自己的项目现在已经比较复杂了。比如说在线教育系统我用的是django做的开发,并用用了uwsgi的方式协同着nginx做的部署,而我的整体的爬虫系统,也可以理解为流量变现系统,采用的是基于colly的爬虫以及类似于python方式的零散使用,比如各种各样的脚本(之前我都是习惯于用python来做这件事的,但是现在已经习惯了用golang的方式),而我的收款微服务是基于java进行开发的,现在整套CICD已经处于完备的阶段,但是不准备部署到线上,暂时业务的体量感觉是没有必要的,总之,业务类型还是比较庞杂的,但是业务体量不够大,没必要很多业务做微服务化,增加了业务的复杂程度,短期内也无肉眼可见的可观收益。

01

进程,线程,协程与并行,并发

进程的出现是为了更好的利用CPU资源使到并发成为可能。 假设有两个任务A和B,当A遇到IO操作,CPU默默的等待任务A读取完操作再去执行任务B,这样无疑是对CPU资源的极大的浪费。聪明的老大们就在想若在任务A读取数据时,让任务B执行,当任务A读取完数据后,再切换到任务A执行。注意关键字切换,自然是切换,那么这就涉及到了状态的保存,状态的恢复,加上任务A与任务B所需要的系统资源(内存,硬盘,键盘等等)是不一样的。自然而然的就需要有一个东西去记录任务A和任务B分别需要什么资源,怎样去识别任务A和任务B等等。登登登,进程就被发明出来了。通过进程来分配系统资源,标识任务。如何分配CPU去执行进程称之为调度,进程状态的记录,恢复,切换称之为上下文切换。进程是系统资源分配的最小单位,进程占用的资源有:地址空间,全局变量,文件描述符,各种硬件等等资源。

04
领券