MICAPS4.0 全国业务化版本推出
多项创新成就强大功能

来源:新万博体育官网 发布时间:2016年05月31日

  MICAPS 4.0 全国业务化版本推出(上):携大数据应用 重磅来袭

  新万博体育官网记者黄彬 赵晓妮

  MICAPS,即现代化人机交互气象信息处理和天气预报制作系统,系中国气象部门气象卫星、天气雷达和数值预报、站点实况等产品综合应用最强有力的业务技术支撑平台。自1995年起至今,它已经历过4个版本的嬗变。相比先前使用的系统,5月30日正式在全国气象部门投入业务运行的MICAPS4.0有何创新之处?

  

  MICAPS4.0启动画面。高嵩供图

  

  MICAPS4.0中的卫星红外云图与细网格风场叠加图。高嵩供图

  

  MICAPS4.0中的动态卫星云图。高嵩供图

  面对迫切需求 突破势在必行

  “4年前大家就已经处于气象海量数据的时代,当时的MICAPS第三版(MICAPS3)亟待解决的两大核心技术难题,就在于预报员使用平台的体验性能和预报员拿到数据的高时效性方面。”国家气象中心MICAPS4.0开发团队高性能服务器端首席架构师王若曈说。

  自2010年开始,MICAPS3面对的数据规模陡增,服务器端加工处理数据能力已经跟不上数据产生速度,这个问题在随后几年一直长期凸显。

  现在,气象数据的总量十分庞大,有时旧的数据还没有完全浏览,新的数据就已“扑面而来”,这样会直接造成部分数据很长时间都不会被使用,最终导致数据价值损失。如何在MICAPS的开发和完善中进一步深挖气象大数据,使预报员在短时间内浏览更多的数据,将气象数据保值甚至增值也成为重要课题之一。

  环顾全球,自MICAPS1.0系统设计之初,世界范围内的气象部门几乎都是采用文件来存储气象数据。但原生文件系统在面对海量数据时会有难以逾越的瓶颈——当数据达到千万数量级规模时,操作系统就会撑不住数据带来的压力,预报员在使用过程中不可避免会感到卡顿。

  此外,MICPAS3在功能上也有不少不足之处。比如预报员浏览数据或对数据进行操作的便捷度需要提高,系统的图形渲染引擎需要优化甚至重构等。

  “总而言之,MICPAS3在客户端、服务器端以及中间的网络连接部分体现出的问题,正是大数据时代天气预报平台发展过程中必须突破的障碍,所以跨层优化的MICAPS4.0开发势在必行。”王若曈说。

  虽然有外部团队参与开发,但不管是客户端还是MICAPS4.0服务器的核心技术,都是由国家气象中心MICAPS团队自主研发或合作研发的。针对用户需求调研,系统设计,关键技术实验、对比、选型,核心模块实现、系统测试以及就产品模块与预报员沟通……这一系列工作都是MICAPS4.0研发团队自主进行的。这也使得研发团队可以实现全系统贯通的跨层优化,把握系统的整体方向,更有针对性地对其架构进行调整,从而更好地满足业务发展需求。

  

  MICAPS4.0中的黄淮地区1小时降水自动站数据和地形叠加图。高嵩供图

  突出技术革新 引领新版起航

  相比前几代系统,MICAPS4.0第一次使用纯数据库彻底取代传统的文件系统,进行气象数据实时存储。

  “这一点在世界范围的气象数据处理领域内都是首创性成果。”王若曈说。美国的AWIPS也用到了数据库,但仅仅是存储气象数据索引,数据内容还是保存在文件系统中,所以仅能解决一部分性能问题,并不能完全突破文件系统的访问瓶颈。

  而MICAPS4.0采取的非关系型分布式数据库则不同,相当于为气象实时数据量身打造了一套集群存储系统。这套存储系统是专门针对MICAPS用户的使用习惯而深度优化定制的,读写性能优异,从上亿个数据中检索一个用时仅为几毫秒。相比于原来耗时4秒至5秒的表现,若将数据传输时间、网络延迟等因素综合考虑,总体性能也得到极大提升。

  

  MICAPS4.0与MICAPS3.0对比。

  MICAPS4.0第一次使用分布式数据库来取代集中式文件系统。

  原先的数据仅仅是存储在一个磁盘阵列中,而且数据只存储一份。王若曈举例说:“如果有一百个预报员同时访问这一块磁盘中的数据,这台机器就要面对一百份压力。当这台机器出现故障时,所有的预报员就都不能访问其中的数据,会造成业务上的停机。”而采用分布式数据库则可以有效地避免这个问题。“假设我把每种数据都存成三个副本放到十台机器里面,这时预报员访问数据的压力就会均衡地分散到所有节点上去。”他补充道,在系统需要维护时,可以停机其中一台,其他的仍然可以继续工作。

  除了分布式集群存储,MICAPS 4.0服务器端的第二大法宝是采用了海量数据的分布式流式计算技术,就是在数据流动的过程中对其进行计算。

  MICAPS4.0的分布式流式前处理系统能实现数据秒级计算、毫秒级写入,使预报员需要的全部数据达到“产生即可见”的效果。“原先,数据从产生到能被预报员看到需要几小时;现在几分钟甚至几秒钟就能看到,而且还是建立在数据量是原先几十倍甚至上百倍的基础上。”王若曈说。

  此外,早在MICAPS4.0项目启动初期,“对用户行为进行彻底分析”便成了当时研发的首要任务。而“特定技术为了满足特定需求”的理念也是决定MICAPS4.0技术选型的关键。

  在这样的开发思路引导下,MICAPS4.0版本最大化地保留了MICAPS1/2/3版的所有界面设计与操作方式,开发团队邀请预报员直接参与MICAPS4.0的操作和界面设计,同时在项目的各个开发阶段都与预报员及时沟通,请多名预报员对平台进行反复操作。除此之外,MICAPS4.0开发组也认真梳理来自不同方向的用户需求:为了减轻省/市级MICAPS平台维护人员的工作负担,MICAPS4.0开发了“在线升级”功能;为了减轻预报员长时间使用平台后造成的视觉疲劳,同时兼顾会商PPT出图的需求,MICAPS4.0专门提供了“会商模式”与“预报模式”两套配色方案;为了能支撑预报员更快捷使用系统,MICAPS4.0为预报员量身打造了很多键盘快捷方式以及产品输出方式等。可以说,MICAPS4.0的任何细微变化都来自于需求。

MICAPS4.0中细网格10米风动态流线图。高嵩供图

  众创与集约化 贯穿开发始终

  MICAPS4.0取得突破性创新,与开发模式中渗透着众创合作和集约化思想密不可分。

  “早在2007年MICAPS3正式发布之时,开发团队就提出了一个想法,即可以让用户在系统上进行定制模块、扩展开发。”国家气象中心MICAPS4.0开发团队客户端核心开发人员高嵩说,“大家希翼让专业的人做专业的事,所以尽可能把开发的门槛降到最低。对于一个具备开发基础的用户,大家会专门为其提供开发环境,让他得以扩展开发一些功能比较齐全的模块。”

  目前,开发团队正在研发一个类似“APP商店”的功能,可以让用户把自主开发的成果放到MICAPS系统的“APP商店”中,方便有同样需求的人将其下载到自己的MICAPS系统平台中,便于其他用户在别人开发成果的基础上进行修改和反馈回传。高嵩认为,这样的良性循环可以促进MICAPS生态环境建设,从而实现用户人人参与、共建和众创。

  除了鼓励用户积极参与自主开发外,强化与数据领域专家的合作也是众创的思路之一。如果把一个系统比作木桶,那么它的最短板将决定其性能。高嵩说:“大家吸引不同领域的专家来共同完成这个‘木桶’,力争把每一块木板做到最好。”

  与清华大学、国家气象信息中心在数据存储上的应用合作就印证了这一点。双方的合作不是简单的加法,开发团队从清华大学专家身上学习数据处理的技术,并自主编写核心数据代码;清华大学专家也需要对气象数据和业务领域进行深入理解后,才能进行深度合作。在最初合作的三个月里,双方并没有急于推进项目进展,而是加深了解,认真吃透了用户需求,对双方后续深度合作产生了事半功倍的影响。

  同时,在MICAPS4.0的开发过程中,开发团队在众创研发的同时,也提倡集约化的思想。高嵩表示,集约化思想一方面体现在平台功能的集约上,即系统已有的功能将便捷地提供给用户使用,不需要用户再浪费更多的时间和精力去开发重复内容;另一方面体现在数据环境的集约化上。

  数据的多次重复性存储看起来很杂乱,也会造成数据不一致,MICAPS3的文件服务器就存在这种问题。但当系统性能提升时,就能一定程度上解决数据重复存储的问题,从而促进了整体数据环境的集约。

  为了成功实现无障碍跨层优化的App工程组织,自2014年8月以来,国家气象中心就与国家气象信息中心成立了联合工作组,积极推进CIMISS(全国综合气象信息共享平台)与MICAPS系统的融合工作。同时,开发团队借助局校合作平台,积极引入清华大学技术力量,对CIMISS数据环境进行能力扩建,解决了数据读取效率和资料服务时效等关键技术问题,有效提升了CIMISS整体性能,满足了对MICAPS4.0的直接数据支撑需求。三方良好的深度合作也成为局校合作的典范案例。

  

  MICAPS 4.0 全国业务化版本推出(下):集众人之智 成预报员之“器”

  新万博体育官网记者赵晓妮 黄彬 通讯员柳秀婷

  5月23日,参加全国MICAPS4.0培训的预报员准时抵京。迎接他们的,是最新的MICAPS4.0全国版本。

  经过一年半的测试运行,MICAPS4.0系统稳定性良好,保持了便捷的操控界面、很高的读写性能、可靠的数据正确性、良好的可扩展性及可维护性,达到了实时业务系统的标准。5月30日,MICAPS4.0全国版本正式推出。

  

  MICAPS4.0中的GRAPES相对湿度预报。高嵩供图

  利剑出鞘:MICAPS就是预报员的“器”

  “工欲善其事,必先利其器,预报员做预报,工具好,对理清预报思路、理顺流程和提高效率都会有很大的帮助,MICAPS就是大家预报员的‘器’。”中央气象台首席预报员孙军在MICAPS4.0开发团队成立之初就作为第一批用户参与其中,积极提出问题和修改意见。

  作为一名老预报员,他深感过去20年里,MICAPS系统从第一代发展到第四代,现代化人机交互气象信息处理和天气预报制作系统给气象预报方式带来了巨大的改变。

  在MICAPS出现以前,预报员做预报的时候,需要在一张纸上画出天气图,浏览数据和进行预报的效率非常低。而MICAPS将天气预报从纸上制作变为电子制作,大部分预报员只要在MICAPS终端上轻轻点击鼠标,即可直接在电脑上绘制天气图。

  “这极大缩短了时间,提高了效率。”国家气象中心MICAPS4.0开发团队客户端核心开发人员高嵩说,“同时,MICAPS也推进了预报的标准化,更便于数据共享。”

  于2013年启动研发的MICAPS4.0,历经了“千锤百炼”的测试。自2015年1月8日起,MICAPS4.0客户端中央气象台测试版先后在中央气象台的短期、中期、环境预报中心、强天气预报中心、台风海洋预报中心等多个预报岗位进行了安装试用。今年2月1日,中央气象台正式亮出这柄“利剑”,MICAPS4.0版本全面进入业务应用。

  “大家收到非常多的用户反馈,主流反馈是MICAPS4.0比MICAPS3.0快得多,原来有些保守的预报员担心新鲜事物有不完善的地方,现在也消除了疑虑。另外,很多预报产品都在MICAPS4.0上传递,逐渐把一批人‘拽’到系统中。”国家气象中心MICAPS4.0开发团队高性能服务器端首席架构师王若曈告诉记者。

  同时,自去年11月底面向各省(自治区、直辖市)开展推广测试,MICAPS4.0在天气图分析绘制、定量降水预报图制作、早间天气会商、气象灾害保障服务、台风专题会商中逐渐显示出强大的能力。

  “目前,App已经比较成熟。去年做了测试版后,收集到很多反馈意见,在更加了解预报员关注点的基础上,大家对系统功能进行了再梳理和开发,5月30日,MICAPS4.0全国版本正式推出。”高嵩告诉记者。

  

  MICAPS4.0中的细网格降水预报图(左),自动站温度等值线分析图(右)。高嵩供图

  惊喜不断:更绿色、更快捷、更稳定

  去年11月底,武汉中心气象台预报员董良鹏在结束MICAPS4.0培训回到湖北后,便十分期待这个系统推广开来。

  由于MICAPS4.0是绿色App,不需要复杂的安装过程,解压缩即可运行且免配置,董良鹏在安装使用系统时,并未遇到任何困难。

  “所有客户端的配置基本上是按照预报员最舒服的方式设置好的,需要频繁修改的功能可以通过用户界面实现,需要个性化的一次性修改的功能放到比较便捷修改的配置文件里面,需要深度修改的高级功能也放在系统级的配置文件里进行。用户可根据习惯调整,比前几版更便捷。”王若曈说明说,“运行App后,不需要进行任何配置就可以查看数据,不需要挂载任何文件服务器。”

  熟悉的用户界面也帮助预报员迅速从MICAPS3.0转换到MICAPS4.0。高嵩告诉记者:“很多预报员在大学学习天气分析的时候就在用MICAPS,鼠标移动到哪个位置应该出现什么结果,甚至某个交互符号应该出现在面板某个位置,已经养成一定的习惯。大家保持了系统的延续性,当预报员打开界面以后,在新颖的体验之外,对每个操作功能又非常熟悉,更易于接受,也减少了培训成本。”

  MICAPS4.0给预报员带来的更大惊喜是其更快的速度。该系统包含分布式实时流式解析系统、分布式存储系统两大子系统。其中,实时解析系统直连原始数据分发系统,分布式存储系统直连MICAPS4.0客户端。自2015年1月20日运行至今,实时解析系统保证了对于原始数据的高效解析与写入,单个数据平均解析与写入时间小于1秒钟;分布式存储系统提供了MICAPS4.0客户端的高性能访问,单个数据的数据库平均查询时间小于20毫秒。

  “以前数据结构是文件式的,文件特别多,调取文件的时候显示速度比较慢,现在在数据库结构上进行重大改变,使用效率更高,显示更流畅,用户体验更好。”孙军说出自己的切身感受。

  实际上,MICAPS4.0不是单纯的“表面功夫”,而是从后台到前端都进行了升级,面对部分突发情况下的自我修复能力以及系统本身的健壮性也有很大提升。新万博官网以及去年12月引进MICAPS4.0的湖北省气象局,做过不少“暴力”测试,比如直接把一台服务器关掉,从5台服务器变成4台持续运行;把5台服务器内部连接的两台交换机其中一台网线拔掉,只用一台交换机工作;把5台交换机电源都抽出来一块;把硬盘抽出来一块——结果是,系统运行正常。如今,MICAPS4.0系统已经在湖北省、市、县三级推广开来。

  MICAPS4.0显然已经展现出强大的生命力和系统稳定性。王若曈打了个比方:“飞机有4个引擎,如果一个引擎坏了,其他3个引擎工作仍然可以保证续航甚至续航很长时间直到达到更换引擎的条件。MICAPS4.0从大到小的每个软硬件都是按照这种方式来设计的。”

  良性互动:集聚众人智慧和能量

  MICAPS4.0反馈QQ群每天都在闪动——任何人提出问题,很快就有人来答疑解惑。

  这一方面表明这个群的活跃度非常高;另一方面也说明用户对MICAPS4.0充满期待。“谁有问题都会去问,所有人都很愿意回答。”高嵩说,这也是众创的一种形式。

  “该系统抓住了技术前沿,将数据综合表现出来,非常灵活。”武汉中心气象台预报员祝嬴认为,“系统开发团队针对预报员需求做了很多工作。”

  由于气象数据种类繁多,系统运行过程中经常需要开发新的解码器,并在不停机的情况下动态加载,实时解析系统设计时考虑了该需求。因此,在试运行过程中已实现了解析能力的热扩充以及配置管理功能的热加载。

  高嵩说,希翼未来能通过一定的评定或奖励机制激励大家把自己的应用放到系统中,让大家参与进来,依托MICAPS4.0和气象云来解决问题。

  其实,系统与预报员的积极互动早在系统开发过程中就体现出来。比如,在实时解析系统及分布式数据存储系统开发过程中,在气象产品数据生成的正确性上投入了极高的人力成本,每一个模式数据、卫星雷达和实况数据的解析、产品生成,全部由若干资深预报员完成正确性检查、单位调整以及等值线设定等工作,并且至少再由另外一名资深预报员完成交叉验证,确保每一个数值的正确性。

  王若曈举例说:“模式数据需要显示等值线,等值线有起始值、终止值和等差数列的步长值,每一种物理量的起始值、终止值和等差数列的步长值设置都是不一致的,现在所有模式约2000多个物理量加层次的数值全部由预报员逐一手工配置,并保证拖到系统里显示美观,保证数据单位的绝对正确性。”

  在良性互动中,系统功能得到不断完善。目前,MICAPS4.0已经具备了数据综合可视化、预报交互制作、产品发布、自动化动画、监视性的资料滚动等功能。在未来,系统功能还会进一步完善。“现在功能虽然比较多,具体到某些功能可能还会有进一步改进的空间,比如模式探空、集合预报使用等。”孙军期待着,“在智能化方面,将来MICAPS4.0把预报员的思想放进去,想预报员所想,做预报员所做,将预报流程用更加智能化的方法体现出来,比如现在比较流行的虚拟现实技术或许就是一个可以探索的方向。”

  MICAPS4.0正是大数据时代的产物。“大家看到的大数据系统有不少成功案例,但还有成千上万的大数据系统的失败被忽视,这些系统通常刚刚经历项目初期热闹的炒作阶段,因为不够严谨、不够扎实而昙花一现,一两年后就被历史淘汰了。”王若曈说,“大家更希翼并且要保证,作为解决气象大数据的典范平台以及新万博官网和国家气象中心的旗舰产品,MICAPS4.0能真正成为历史所存下来的较少的部分优秀系统之一。”

    (来源:《新万博体育官网》2016年3月30日、31日三版 责任编辑:王若嘉)

往期回顾
 
分享按钮
XML 地图 | Sitemap 地图