淺議建設地市級氣象信息數據倉庫的必要性和可行性
佚名
摘要: 本文通過簡單概述數據倉庫的概念、與數據庫的區別,從現代氣象服務工作的需要和部門聯動合作的需要分析說明了建設地市級氣象信息數據倉庫的必要性,從數據源、建設數據倉庫的軟硬件以及人才方面說明現在著手建設地市級氣象信息數據倉庫的可行性。 Abstract: The concept of the data warehouse and the difference between the database are described in the present paper, the necessity and possibility of the development of the meteorological information data warehouse for a prefecture-level city are emphasized in the aspects of the need for the weather service in the modern society and the departments cooperation, the data source, the condition of the hardware and software as well as the talented persons, respectively. 關鍵詞: 數據倉庫;數據庫系統;氣象服務;決策服務;OLAP;DM Key words: data warehouse;database system;meteorological service;decision service;OLAP;DM
1數據倉庫概述 數據倉庫(Data Warehouse)的概念是Inmon-1 J首先提出來的,將數據倉庫定義為一個支持管理決策過程的、面向主題的、集成的、穩定的、隨時間而變的數據集合[1]。數據倉庫的產生是信息技術發展的必然結果,數據倉庫是在數據庫的基礎上發展起來的,又不同于數據庫:數據庫用于事務處理,數據倉庫用于決策分析,數據倉庫往往還要包括相應的數據分析工具,比如聯機分析處理(OLAP,On—Line Analysis Process)和數據挖掘(DM,Data Mining)系統等。聯機分析處理(OLAP)是將決策支持功能與傳統的聯機事務處理功能(OLTP)明顯區分開來,它從人類分析數據的一般規律出發,形成了基于多維分析的決策支持工具[1]。 綜合對數據倉庫的各種理解,可以認為數據倉庫是一種體系結構、一種環境,最大的特點是它的主題性,將來自各種數據源的數據進行統一與綜合按照主題進行組織,包含大量的歷史數據,為管理決策活動提供支持。基于對數據倉庫的理解,提出的地市級氣象信息數據倉庫簡單結構圖如圖1所示。 2地市級氣象資料數據存貯現狀 地市級氣象局擔負著管理、收集和轉發所管轄縣市臺站的觀測資料的任務,同時也擔負著管理、收集和轉發來自省級氣象局及中國氣象局的氣象資料(如全國觀測數據、衛星云圖等),這些資料在氣象預報和氣象服務中起到關鍵性的作用。地市級氣象局一直很重視對這些資料的存檔,長期以來積蓄了海量的氣象資料數據,但這些資料的絕大部分仍然采用報文文件或普通文件的形式保存,只有小部分(如自動站)用數據庫的形式保存。地市級氣象局在這種數據庫應用缺乏的狀況下,對歷史氣象資料的查詢比較繁雜,氣象數據的開發應用較為艱難。針對當前地市級氣象信息資料存儲的現狀,建設地市級氣象信息數據倉庫對推進氣象事業的發展和提高氣象服務水平以及豐富氣象服務手段是非常必要和迫切的,同時對信息資料的共享應用會有很大的促進作用。 3建設地市級氣象信息數據倉庫的必要性 3.1 氣象決策服務的迫切需要隨著科技和經濟的飛快發展,氣象服務對各行各業的影響卻越來越強烈,加上人類社會在現代化的過程中造成的環境破壞對氣候的影響,使得天氣氣候環境越來越惡劣,極端天氣越來越頻繁,破壞力越來越大。基于氣象災害對經濟社會造成的巨大損害,各級政府和相關部門對氣象事業越來越重視,單一的天氣預報服務明顯已經不能滿足政府及相關部門的決策要求。需要有一個氣象防災減災決策平臺,該平臺要綜合各種氣象、水汶、地質、交通、農時等要素,要對每次天氣過程都能進行分析推理出可能造成的災害并提前預警,盡可能早的在災害發生前為決策部門提供建議,預防和減少氣象災害造成的損害。而氣象防災減災決策平臺的建設必須要有氣象信息數據倉庫的支持。因此說氣象信息數據倉庫的建設是氣象部門為地方決策部門提供氣象決策服務的現實需要。 3.2 公眾氣象服務的需要我國經濟的持續高速發展,正大步帶領我們全面跨入小康社會,隨著生活水平的提高,人們就越來越注重自己的生活質量。人們的生活水平越高,對天氣氣候的關注度就會越高,過去,通過電視或電臺播出的《天氣預報》節目作為公眾獲取天氣信息的單一渠道,為公眾氣象服務做出了不可磨滅的貢獻,但隨著信息社會的到來,它早已不能滿足公眾對天氣信息的需求,人們需要更多更方便的渠道獲取更多的、更詳細的、更準確的、更及時的天氣氣象信息。現代通信網絡技術,使公眾可以通過手機短信、氣象網站,電子顯示屏等多種渠道獲取氣象信息,但是,要為公眾提供這些渠道必須要有數據倉庫的支持才能實現。因此,氣象信息數據倉庫的建設是保障公眾的生活質量,為公眾氣象服務提供多種渠道的需要。 3.3 多部門聯動合作的需要氣象科學數據是國家重要的基礎性、公益性科學數據資源,是我國歷史年代最長、保存最完整、最系統的地球信息資源之一。中國氣象局宇如聰副局長2010年4月8日在京召開的氣象信息共享(同城用戶)座談會表示:做好氣象信息共享,是最大程度發揮信息資源使用效率,建立部門間緊密合作和有效聯動機制的重要基礎,是提高天氣預報準確率和公共氣象服務能力的關鍵所在。
在地市一級,政府、交通、農業、水利、水汶等各部門希望氣象信息在防災減災、決策部署等方面發揮更重要作用,希望加強與氣象部門聯動合作,要達到上述目的,需要繼續推進氣象科學數據共享工作,進一步完善氣象信息網絡系統及基礎信息支撐平臺和部門間合作機制,針對不同的部門和不同的主題,加工共享數據,建設地市級氣象信息數據倉庫,開發建設防災減災決策平臺和公眾氣象服務平臺,以達到氣象信息數據共享的目的,最大程度發揮信息資源使用效率。 4建設地市級氣象信息數據倉庫的可行性 4.1 數據源數據倉庫的基本組成元素就是數據,因此要建設倉庫就必須要有充足的數據源,數據倉庫的數據存儲系統任務就是將數據從各數據源抽取出來,轉換為分析型數據,存儲并提供數據檢索和管理的界面。氣象科學數據是國家重要的基礎性、公益性科學數據資源,是我國歷史年代最長、保存最完整、最系統的地球信息資源之一。氣象產業屬于高科技產業,要用先進科技進行分析預測,歷來就非常注重對各種氣象數據要素的開發應用和保存。只要有需要,我們就可以查詢到歷史上任何層開展過的氣象業務的數據,從初期的簡單的氣溫、氣壓、風向、風速資料到現在的衛星、自動站資料等等。對于決策平臺需要的地理信息、水汶、交通等數據,我們可以通過部門聯動、數據共享獲取。因此,建設氣象數據倉庫的數據源非常豐富充足。 4.2 數據庫系統建設數據倉庫的出現,并不是要取代數據庫。目前,大部分數據倉庫還是用數據庫管理系統來管理的。因此,建設數據倉庫的主要是建設數據庫管理系統,包括軟件和硬件兩部分,軟件主要有MS SQL SERVER、Oracle、IBM、MySQL、Sybase等。綜合數據、流量、用戶等規模,地市級氣象信息數據庫系統應屬于中小型,建議選擇MS SQL SERVER,因為在WINDOWS上運行的數據庫應用系統,微軟的數據庫是最好的選擇,而且微軟的數據庫系統是最容易使用和掌握的產品之一,擁有中文界面和幫助系統,T-SQL也附有例子和中文解釋,而且用戶群龐大,交流很方便,能夠在相對短的時間內上手。硬件方面就是就是一臺計算機數據服務器。 4.3 人才需求數據倉庫的構建是純粹的技術工作,相關的技術人才的培養是是否能成功構建和構建質量好壞的關鍵。要建設數據倉庫,首先至少要有一名能熟練掌握應用數據庫系統的人才,他們負責數據庫系統的構建和管理,包括按主題要求構建數據庫及其數據結構,針對決策過程的要求對數據源中的操作型原始數據進行進一步加工處理并按主題(即在分析數據時經常用到的各種概念)重新組織,使它們成為便于分析的數據,即分析型數據,從而大大提高分析數據的效率。其次是需要開發服務平臺的程序員。地市級氣象部門在軟件開發方面的人才水平是比較高的,在此基礎上針對建設和管理數據倉庫方面的人才需求加大在該面的人才培養力度,對于成功建設地市級氣象信息數據倉庫在人才方面提供保障。 5結束語 建設地市級氣象數據倉庫是建設現代氣象服務系統平臺(決策氣象服務、公眾氣象服務、專業氣象服務等)的需要,也是各部門數據共享、聯動合作的需要,我們也有建設數據倉庫所必須的充足的、豐富的氣象數據資源,通過項目合作建設經費應該也不難解決。為了提高地市級氣象服務水平,以適應現代化經濟社會對氣象服務的高要求,地市級氣象部門有必要早日開始著手氣象數據倉庫建設的相關事宜,為防災減災提供更加豐富的服務手段。