NCL是气象和海洋绘图中常用的软件,其专门为处理气象和海洋数据设计,因此在处理两类数据有着较高的效率。同时,随着NCL多个版本的优化,NCL提供了大量优秀的函数,来帮助使用者快速熟悉并使用气象和海洋中常用的统计方法。虽然现在NCL在向python转移,但是短时间内NCL依旧不会过时。
看任何事情都具有两面性,开源有开源的劣势,闭源也有闭源的优势,虽然我喜欢并且提倡使用开源软件,但开源软件并不是万能的,在特定的场景下还是需要闭源来支撑。咱先说闭源。气象部门的软件开发大多采用项目制外包,承接公司一般根据需求进行定制化开发。虽然大多数项目合同要求公司提交源代码及说明文档,但有几个气象单位建立了自己的代码库和文档库呢?一个项目一个源码包,闲置在电脑的某个角落再也不碰了,升级运维呢就是谁开发谁管,满足项目要求了就不再管优化升级的事儿了。这就导致软件系统没有生命力、升级优化跟不上节奏、重复开发重复建设频繁等诸多问题的出现。当然也有些现实问题摆在面前,有些气象部门根本就没有信息系统建设部门,也缺少信息系统开发的人员来管理本单位的信息系统开发和建设,常常是派一个学气象专业的人盯着项目、和开发公司对接,只能做到需求的解释传达,很难做到本单位气象软件系统建设的长远规划和规范实施,更别说去阅读和管理开发公司的程序源码了。问题和困难都有,但并不是不可解决的,“借他山之石,逐己身之玉”。作为气象部门,寻找到一家靠谱的可长期合作的开发公司是多么的重要。气象业务系统真正的价值在于应用,在于快速响应业务变化,在于有旺盛的生命力,而这些就需要标准化、规范化、可复用、高性能的开发模式做支撑。软件的核心在于程序源码,我们可以不去开发源码,但不能不去管理源码、应用源码。靠谱的乙方合作公司加上有软件工程建设思维的气象甲方,联合打造一套只为自己气象业务应用的闭源仓库、文档仓库,于公于私都将是一件提升业务核心竞争力的事情。
排名第一的刘凑华,是我和小宋的学长,所以我们经常亲切地管meteva叫:“老刘的库”
在地球科学领域也得到了广泛应用,尤其是地球科学数据处理和可视化方面,比如地球科学数据分析和可视化库Iris,应用于数值模式数据处理的wrf-python,气候数据处理库CDAT以及地球科学可视化库NCL的Python版PyNGL。
曾作为忠实的果粉,对于macOS的喜爱是无可替代的,并不是秀优越,毕竟ThinkPad X1等诸多电脑价格并不比MacBook Pro便宜,抛开硬件层面,苹果生态系统的用户体验确实是行业标杆,给人一种贵的有理由的印象,咬咬牙还是可以搞一台的(疫情原因消费降级也能理解)。但是,近两年“巨硬”Microsoft发力了,将用户体验终于摆放到了合适的位置,把软件和硬件的结合做了大量的优化,再回到Windows上作为日常使用的主力机器,突然发现MacBook Pro她不香了。本文简单地分享一下配置使用的经验,经供参考,愿为各位科研生活提供便利。
这几年玩了很多种 SDR 开发板,春节封路,在家闲着没事,也在尝试着玩各种天线,分析解码不同协议的无线信号,以此打发时间。
大气海洋的特点,决定了我们无法做一些真实的实验,因此开展数值模拟,是其重要手段。业务预报中,现在气象预报员基本离不开模式的结果,甚至许多预报员毫不避讳,直言预报结论基本照搬模式结果。科研中,众多领域也是要需要使用数值模式,哪怕不使用数值模式,也需用到模式运行得到的再分析资料。因此对于大气和海洋科学领域的人而言,数值模式是一个绕不开的话题。
作为曾经地球科学领域最炙手可热脚本语言之一的NCL已经进入维护模式,不再更新。NCAR将使用Python作为地球科学领域的主要数据处理和可视化工具。
Python在气象与海洋领域的应用愈发广泛,特别是其拥有众多的第三方库避免了重复造轮子,使得开发速度较快。但是官方提供的Python仅包含了核心的模块和库,为了完成其他任务,所需的第三方模块和库需要另行安装,这个过程往往较为繁琐。
本文以天气数据实时抓取和可视化展示为主题,旨在探讨如何使用Python编写程序来实现对天气数据的抓取、可视化和预测。
Panoply是NASA开发的一个软件。支持Windows,Linux和macOS多种操作系统,下图是其操作界面。
Surfer 23是一款功能强大的三维地质和地形建模软件,让用户能够以高精度的方式轻松生成多种复杂的地形图像和模型。Surfer 23可以用于多种应用领域,例如地质研究、地形分析、矿产开发、环境模拟、水文分析等等。
GUI工具在进行数据处理和可视化方面相较于脚本语言的明显优势就是能够交互式的快速进行数据处理和可视化。
近年来随着我国计算机水平的发展,如今的天气网站信息多,想要获取有效的信息需要的时间太长。为了解决社会人员和专业气象人员获取符合自己的并符合自己意向的天气信息,利用Hive对这些天气信息进行收集和分析势在必行。所以需要一种能够具有分析天气系统,可供用户利用自身优势,分析天气信息,从而尽快找到心仪的天气。
日常工作、学习中可能都会有小型工作站或者是服务器(云服务器)供大家使用,而且使用Python的频率也挺高的,那么通常都会有可能个人电脑性能有限、存储空间或者内存有限的情形,那么我们Jupyter notebook就能够发挥很大的作用,特别是在公司、学校、或者单位局域网的环境下,远程的延迟相对较小,使用Jupyter来做Python数据处理和绘图实在是不错的选择。远程端负责计算,个人电脑仅仅是一个编辑器的作用。对于一些云服务器,可能相应的端口管理会更加严格一些,但通过设置远程使用Jupyter基本都没有问题。其实,本文所提及的远程使用jupyter主要集中于Python的配置、安装、使用。各取所需,仅仅做简单推介,不做深入的探讨。后文以Kaggle的气象聚类分析为例,实操一下如何远程Jupyter notebook使用Python的库来计算和绘图。
这次我们来简单了解下气象数据常用的格式以及处理的工具,常用的数据格式包括普通的二进制格式、文本数据、NetCDF、HDF4/5以及GRIB1/2数据。我们可以利用编程语言例如python、matlab以及c语言,根据数据的说明文档或者相应的数据api开发文档进行读取,此外我们也可以根据提供的command命令行进行高效提取数据。
CDO全称The Climate Data Operators ,是一款相当强大的气象数据处理软件,包含一系列的统计参量和算术函数,用于处理GRIB和NetCDF格式数据有着相当方便指令操作。
数字化时代,人工智能、大数据、云计算、边缘计算、物联网、移动互联网、第五代通信等新技术正在逐步影响着人们的生活。将这些数字化时代的新技术应用于气象服务的具体应用场景上会怎样?今天开开“脑洞”,大胆的进行了一些设计,虽然只是一种想法,但我非常希望我们的气象服务越来越智慧,越来越有价值。以下是具体的设计思路和应用场景,如有不妥之处请业内同行批评指正。
近日,东湖大数据对外发布了自主研发的“气象AI”。该产品通过大数据、云计算、深度学习、人工智能等技术,专注于提供1*1公里小场景专业化气象服务,标志着东湖大数据正式进军商业气象市场。
【摘要】如何在气象服务中应用新技术新方法,并提升我们的气象服务能力,是需要我们气象人尝试和探索的课题,本文对新技术新方法在气象服务用的应用进行了一些简单设计和畅想。话不多说,直接上干货!
•NetCDF格式 : netCDF4-python,h5py,h5netcdf,xarray等。 除了上述简单的数据处理库之外,python还提供了NCO和CDO工具的封装,pynco和cdo,提供了更多的便捷操作。•Grib格式:xarray,Iris,pygrib等,有些仅支持类Unix系统。 ECWMF提供了cfgrib工具可将grib格式转换为NetCDF格式,cfgrib库支持Mac,Linux和windows系统。•csv, xlsx等格式:pandas你值得拥有,无论是气象还是其他领域的类似格式数据,使用pandas可以解决你的常用操作。•HDF格式:pandas和h5py可以处理hdf5格式,PyHDF可以处理hdf4格式。•二进制:numpy可以处理二进制数据,同时借助python内置struct模块可以非常方便的处理二进制格式数据。
本次 Workshop:动手实践盘古、伏羲、风乌气象 AI 大模型 | 台风路径预报 由和鲸社区发起举办,面向所有人免费开放。
【前言续】 昨天刚开了个头,抛出了新基建下气象事业面临的机遇与挑战这个话题,今天将我的理解和一点不成熟的思考分享出来。新基建背景下,气象事业如果抓住机会一定大有可为,但准备不足也将面临被边缘化的风险。机遇和挑战并存,究竟哪一方能占上风,让我们拭目以待!
我认识的一些气象公司的老板在创业阶段都很辛苦,特别忙,从早到晚没有休息时间,自己疲惫不说,弄的家人也怨声载道。还有比较要命的一点是,创业好多年还是处在贫困线上挣扎。为了养活公司,节省开支,给自己的薪水很少,甚至不给自己开工资,为了公司不舍得吃、不舍得穿,出差时吃饭住宿都按最低标准,能省则省。当初为什么要创业呢?我想大多数人创业的初衷都是为了实现自己的物质要求,说的通俗点就是“要有钱”!创业的目的是提升生活质量,如果这一点很难做到,那就“及时止损”,放弃创业吧。
2021年8月19日,民航局空管局民发布《民航气象信息共享与服务工程服务器和存储设备采购项目》招标公告。 预算金额:8032.000000万元 最高限价:服务器5330万元,存储设备2702万元 采购产品一览表: 中标结果 2021年9月17日中标结果发布,太极计算机股份有限公司 7509.66 万元中标。 主要投标标的: 项目背景 我国的新一代航空气象系统与中国新一代航空运输系统中的其他组成部分一样,是一个庞大的综合工程。新一代航空气象系统框架的构建中,参照了美国 NextGen 和欧洲 SESA
近期,华为云推出的“盘古气象大模型”,再次让气象“江湖”变得热闹起来。进到华为云官方网站,对“盘古大模型”有比较详细的介绍,大家可以自行查阅。其中有个“盘古气象大模型”,官方标题《气象预报精度首次超过传统数值方法,速度提升1000倍》。光看标题还是很吸引人的,但作为气象从业者,尤其是搞业务的气象人,好奇心可能也只存在于论文欣赏的这几个小时,因为再先进的技术,如果只存在于实验室和论文中,而没有在实际业务中广泛应用,在我看来都不足以推动这个行业或这个领域的进步。当然,新的研究成果是引领行业进步的基础,我非常希望更多的“盘古”再现。气象技术的“百家争鸣”、“百花齐放”的繁荣景象,才能让气象行业迈进新阶段。
原标题:气象局携手电商经营气象信息 国家首次采用民营公司提供的云计算和大数据服务 此次双方合作包括三方面: 联合搭建“中国气象专业服务云” 双方联合构建天气风险管理平台 加强气象灾害预警信息的多渠道发布。 把权威部门的气象信息与电商平台做对接,对这部分信息进行挖掘,用以拓展与气象相关的电商类买卖。昨日,中国气象局公共气象服务中心与阿里云达成战略合作,就上述内容展开规划,比如用双方合作挖掘的数据为保险公司设计与气象有关的险种提供支撑。这是国家部委首次采用民营科技公司提供的云计算和大数据服务。 按气象信息
当人口红利消失的论调席卷互联网,曾经“躺着赚钱”的工具厂商,纷纷走到了转型的十字路口。有人选错了方向,在浑浑噩噩中走向了慢性死亡;有人迎合了潮流,在新的赛道找到了高光时刻;也有人赌对了风口,却在短暂的崛起后仓惶告别舞台。
早就想聊聊这个话题,感觉说多重要都不过分!按理说我们气象部门的数据存储、处理和应用相比其他行业具有先天优势,无论观测还是预报,每天能够产生海量数据,并且有规范的数据格式和先进的数据存储设备。可这么多的数据,大都是死数据,并没有充分用起来,或者利用率很低,根本没有发挥出气象大数据的应有价值。我觉得之所以出现这种问题,是我们并没有重视气象大数据的价值,或者是没有找到更好的办法去进行数据价值的转化。应该说是先有大数据,再有云计算,然后才是现在的人工智能,气象业务信息化的发展也在追随这样的发展路径,但其实第一步我们就没有走好!让数据活起来,让业务上云,让人工智能渗透到气象业务中,并不只是喊喊口号而已!尤其是现在气象部门也处在数字化转型的进程中,要进行业务转型和业务创新,首先要把气象大数据用好,找到并挖掘出气象数据的价值所在。因为数字化转型的目的与核心就是为了实现业务的转型、创新与增长,数据和基于数据的数字化技术就是我们的基石。
先简单介绍一下需求背景。2019年中国北京世界园艺博览会(以下简称:世园会)于2019年4月29日至10月7日在北京延庆举行,是最高级别的专业性国际博览会。北京市气象服务中心承担世园会期间公众气象服务、世园会园区及周边的交通、旅游、城市安全运行的专项气象服务保障任务。整个世园会共持续162天,国内外参观人数众多,同时恰逢沙尘、强降水、低能见度等灾害性天气多发时节,为保障世园会安全有序的进行,具有针对性强、专业、精准的气象服务必不可少。
上一期,我给大家简单介绍了有关气象服务的分类,今天给大家聊聊有关“气象服务”的一些误区。
【说明】本文是2年前针对物流气象服务设计的服务产品,躺在电脑里也无用,拿出来分享一下,有写本子的或者做类似气象服务的可以参考!
根据中国气象局官方网站的气象要闻-《国家级气象软件工程企业启动组建》:“8月8日,国家级气象软件工程企业——北京风云气象科技发展有限公司正式启动组建。中国气象局党组成员、副局长于新文、毕宝贵出席启动会”(摘自中国气象局官方网站)。这对于气象从业人员来说是一则重磅消息,也引领了气象企业发展的新风向。在国家级层面,起点高、规模大的气象软件工程企业,会不会打破气象企业难以发展壮大的“魔咒”,成长为一只真正的“气象独角兽”,我们都充满期待!
一直在说“气象服务”,到底什么是气象服务呢?趁着两会的热度,最近跟大家一起聊聊“气象服”这件事~
AI技术的火爆无疑是近几年创新应用上的一次革命。如今AI技术在众多科技公司的推动下已经渗透到各行各业,气象行业也不例外。将AI融入到天气预报、大气探测、天气预警以及天气服务中的尝试一直未间断。AI技术的应用背后是大数据的支撑和机器学习的广泛探索。利用AI技术进行雷达图像的识别,进行短临预报;利用AI技术与数值模式结合提升预报的准确率;利用AI技术进行探测数据的质量控制和融合处理;利用AI技术进行天气预警的精准推送;利用AI技术进行大雾的识别、天气现象的识别等等,可以说AI已经在气象领域中全面开花。在复杂的大气物理、化学等机理研究难以取得突破时,融入AI技术是提升气象技术的有利补充。关于天气预报、探测等AI技术的应用上经验比较少,跟大家分享一下我参与实施的在公众气象服务中的一些尝试应用。
气象事业是党领导下的科技型基础性社会公益事业。党的十八大以来,中国气象科技发展紧跟国家科技发展步伐和世界气象科技发展前沿,坚持创新优先、人才为本,建立了较为完善的国家气象科技创新体系,由以跟跑为主发展到跟跑和并跑并存、部分领域领跑的新阶段,不断提升服务保障国家重大战略实施和全面建成小康社会的能力,并为世界气象科技发展和全球气象治理贡献力量。
气候科学一直是一个复杂而重要的领域,随着气候变化的加剧,对气象数据的理解和预测变得尤为关键。传统的气象学方法往往无法应对大规模、高维度的气象数据,因此,机器学习在气候科学中的应用成为提高预测准确性和洞察气象现象的新途径。
北京冬奥赛程已过半,中国奥运健儿在家门口就是有主场优势,目前以6块金牌的好成绩创造了新的夺金记录。激动、喜悦的同时,我们冬奥气象保障却不敢有丝毫的怠慢。今天,首钢大跳台的比赛全部完成,这里的气象保障任务终于告一段落!已经有两周时间未更新了,因为我们都在忙着冬奥气象保障呢!当然,我们属于后端的气象保障服务。作为气象服务的出口单位,通过网站、APP为冬奥各个部门提供准确及时的气象服务信息就是我们的主要任务。虽然没有亲临现场,但是那种高度紧张和高强度的工作要求也同样深有体会。今天简单跟大家分享一点冬奥气象保障的工作感受吧。
在 2024 智源大会上,上海人工智能实验室青年研究员苏锐分享了 AI 气象预报的历史发展、最新技术研究进展、所面临的挑战,其团队研究成果 FengWu-GHR 解决了高分辨率气象数据稀疏、模型计算消耗大、长时间预测误差累积等问题。
今天再次回到我们的气象主题,气象人怎么能离开气象太久呢?MVP不是什么新概念,这里说的不是NBA最有价值球员,也不是软件设计中的MVP模式,而是产品设计中的最简化可实行产品(Minimum Viable Product)。是的,今天跟大家分享一下我所理解的气象产品设计。按照阅读量来看,具体设计技术似乎越来越没有阅读兴趣,那就谈论一些气象产品的设计思路以及我在做设计过程中的一些经验。其中的问题多从我自己的感受出发,还请大家不要对号入座。
在气象服务中,无论是决策气象服务、公众气象服务、还是专业专项气象服务,都离不开产品的准确性。可以说气象服务产品的准确性是整个气象服务行业的灵魂所在。特别是气象公司,要占得先机、开拓市场,对准确性的追求更是有增无减,不惜花重金聘请气象服务产品的算法人才。在大力追求技术提升的同时,气象公司也需要采用产品检验的方式将已有的成果展现出来,因此产品检验报告就是各家气象公司服务能力的直接体现。
首先我们要明确,究竟什么才是气象服务需求?这要看气象服务的对象,服务对象想要达到什么样的目的,要实现什么样的目标就是我们开展气象服务要满足的服务需求。但是要注意的是,满足用户服务需求并不是一味的迎合用户要求,这样的服务手段并不高明,服务质量也难以让用户满意。我理解的满足用户服务需求是双向驱动的,服务方不仅要主动,还需要去培育和引导用户;被服务方也需要积极配合服务需求的采集和确认,还需要不断的反馈并接受一些新的观念与习惯。我们总在强调提高气象服务质量,而透彻的理解并准确的需求转化才是气象服务质量提升的基础。
气象服务业务要讨论的问题还很多,以后我再继续,今天暂且换个轻松点的话题,我想跟大家讨论一下智慧气象服务。智慧气象服务是未来愿景,所以可以尽情畅想。未来智慧气象服务具备智能感知、精准泛在、情景互动、普惠共享的特点,想想都觉得很美好。长篇大论会占用大家太多时间,我只简单讨论一下我的想法,不展开。
冬季供暖气象服务算是一项传统的专业气象服务了,目前东北、新疆、内蒙古地区10月中旬就要进入供暖季了。在《浅谈专业气象服务(四)》中我介绍了一下我曾经参与过的北京地区供暖气象服务。北京的供暖气象服务在全国气象部门开展的比较早,但是可挖掘和可发展的空间还很大。今天为气象同行们分享一个我的一个系统设计案例,希望能给有类似气象服务需求的同行们一点参考。
国务院日前印发《气象高质量发展纲要(2022-2035年)》,这一纲要有何看点?如何加快推进气象现代化建设、以高质量气象服务助推高质量发展?中国气象局党组书记、局长庄国泰进行了权威解读。
昨天提到了这个MODD(Meteorological operations Driven Model),我自创的一个技术名词,跟大家解释一下:其实这不是一个新概念,新瓶装旧酒,但我觉得用在气象业务系统建设中还比较合适,就拿来说说吧。
【说明】今天这一篇又是压箱底翻出来的,时间在3年前的关于通用航空气象服务系统设计,现在来看可能有点过时,但基于雷达的设计思想我觉得还是可以借鉴的。通用航空气象服务和民用航空气象服务是有些区别的,更关注短时临近的预报,因此拿出来跟大家分享,请大家共同探讨!
领取专属 10元无门槛券
手把手带您无忧上云