大數據氣象災害預測分析
王舒韻
摘要:中國是世界上唯一大面積種植苦蕎的國家,其中定西通渭縣是甘肅中部苦蕎的集中產區。根據近年來對苦蕎越來越多的需求、天氣對苦蕎產量的巨大影響,我們將采用Soikit-Learn的線性回歸模型以及Spark算法預測天氣,最后以數據可視化的方法呈現預測結果,從而降低天氣對定西通渭縣苦蕎產量的影響。
關鍵詞:農業氣象災害;Spark算法;線性回歸模型;大數據預測分析
1 定西市通渭縣農業氣象災害的定義與特征
1.1 通渭縣蕎麥發展現狀
通渭縣華家嶺特別適宜苦蕎的生長發育,產量較高,品質上乘,一直是甘肅中部苦蕎的集中產區。近年來通過各級政府和干部群眾的共同努力,產業區域特征明顯,種植面積穩中有增,并在引進優良品種的基礎上爭取項目支持、開發特色產品和拓寬銷售渠道,采取了一系列行之有效的措施,推動了苦蕎產業的較快發展,目前通渭縣苦蕎種植面積共計30.67km2 ,占糧食面積的3.5%,總產量約7360t。通渭縣蕎麥在種植技術不斷完善的過程中作物質量也得到提升,據有關方面檢測,該地區所產苦蕎與四川涼山地區各類指標持平,主要成分蘆丁約占80%左右。通渭縣蕎麥發展業穩中向好,并結合電商平臺為蕎麥的銷售提供便利,但密切被重視的仍然是蕎麥產量和生長問題。
1.2 通渭縣蕎麥發展優勢
通渭縣氣候干旱、生態條件差,蕎麥是主要的復種作物,器抗旱、耐瘠性強,是一種備荒救災的優良作物。針對本區域的地理條件,蕎麥種植可以有效緩解土壤壓力并改善并帶動本地區的經濟發展,具有良好的發展價值。中國是世界上唯一大面積種植苦蕎的國家,隨著人民生活水平和質量不斷提高,膳食結構也隨之發生了變化,蕎麥可以起到很好的營養保健作用,越來越得到人們的青睞。通渭縣蕎麥發展有自己的特色,目前國內外市場需求急劇增大,這項產業可以成為一個帶動區域經濟發展的好方案。由于通渭縣的地區特征,貧困縣和農村地區經濟發展成為國家經濟發展中重點關注的問題之一。在國家和政府的大力幫助和支持下,在蕎麥種植技術引進升級和銷售模式不斷完善的背景下,本地區的蕎麥發展具有巨大的發展前景。
1.3 存在的問題
定西市通渭縣蕎麥種植業隨著科技的進步和人才的引進,種植效益穩步提升。尤其是近年來隨著農村電商的迅猛發展,農村蕎麥種植業有了更好的銷路并獲得了更大的收益。在蕎麥種植業發展向好的同時,蕎麥的產量一直都是需要密切關注的問題。我們從近年來針對蕎麥產量的研究中發現,天氣因素的影響是最大也是最不可控的影響因素。其中最主要的天氣因素是干旱和洪澇這兩個極端災害。所以我們專門針對干旱和洪澇這兩個天氣因素對通渭縣苦蕎產量的影響進行詳細分析。
2 通渭縣農業氣象災害對蕎麥生長具體的影響
2.1 干旱
甘肅省定西市是全國有名的干旱地區,而通渭縣更是干旱十八縣之一,也是出了名的黃土高原干旱區。定西市的干旱又分為以下幾種:春旱為4 到5 月。春末初夏旱為5 月下旬至7 月上旬。伏旱為7 月中旬至8 月中旬。秋旱為8 月下旬至10 月上旬。從春旱,春末初夏旱,伏旱,秋旱逐年發生次數看,幾乎每年都有干旱發生,故又有“十年九旱”之說。從各干旱發生頻率看,秋旱頻率最高,春旱次之,伏旱最低。其次定西市因為地理位置的原因,同時因為年降水量在300 ~600mm之間,而蒸發量又高達1400mm,所以干旱情況比較常見。每年的降雨集中在七、八、九三個月份,其他的月份月降雨量較少,但因為蒸發量過大的問題,所以會導致干旱的發生,同時因為蕎麥對水分的要求比較高,水分過多或者過少都會影響蕎麥的產量,在生長期和成熟期要求水分相對要多一點,蕎麥的播種期是七月中旬,是定西市降雨量較多的時候,不用擔心水分的問題,但是在成熟期,也就是來年的三月到四月,因為降雨量的減少,加上蒸發量一直很大的問題,所以更應該注意水分的補充,不要因為成熟期的水分不夠而影響蕎麥的產量。
2.2 洪澇
定西市通渭縣的氣候是屬于南溫帶半濕潤和中溫帶半干旱區的混合氣候,年均氣溫可達5.7 ~7.7 ℃,沒有霜降的時間大約有122 天到160 天,年平均降雨量一般在350 ~600mm,主要降雨量一般集中在7 月、8 月和9 月這三個月,并且大部分時候是以暴雨的形式出現,但是它的蒸發量卻在1400mm以上。以渭河為界大致分為北部黃土丘陵溝壑區和南部高寒陰濕區兩種自然類型。前者包括安定區和通渭、隴西、臨洮三縣和渭源。北部占全區總面積的60%,為中溫帶半干旱區,降水較少,日照充足溫差較大;后者包括漳縣、岷縣兩縣和渭源南部,占全市總面積的40%,為暖溫帶半濕潤區海拔高氣溫低。定西市的降水量一般都集中在每年的7 月、8 月和9 月,在這三個月中,如果出現每小時降雨量在20mm左右而且長時間的持續,出現這樣的情況就是人們口中所說的大暴雨,它所造成的影響是會導致一部分的蕎麥苗被雨水沖走,但是當雨水稍微小一點的時候,可能不會對蕎麥苗造成太大的損失。每次出現大暴雨并且持續時間較長就有一定概率會出現山洪泥石流和山體滑坡,這種情況的出現會導致泥石流和山體滑坡所沖下來的雨水夾雜著泥土和石頭,這些雨水會對蕎麥產生不可挽回的損害,蕎麥不僅會被沖走,更有甚者會被泥石所砸,對蕎麥造成大面積的破壞。定西市蕎麥的生長周期一般在7 月中旬播種,所以每年的大降雨會導致蕎麥的產量下降,所以我們對洪澇以及它所帶來的一些其他災害要好好預防,使蕎麥的產量不會因為洪澇的原因減少。
2.3 霜凍
霜凍的發生概率不是很穩定,每年發生的時間也不太確定,一般在2 月份到3 月份之間,但是霜凍對蕎麥的影響是最大的,因為蕎麥最畏懼的就是霜凍,霜凍會使蕎麥的產量急速下降,再加上霜凍的隨機性,使得它成為最不可控的因素,霜凍的發生會使得蕎麥停止生長,慢慢枯萎,所以我們應該好好預防霜凍。
3 大數據技術對氣象災害的預測方案
做好蕎麥的預防工作,應盡可能減少定西市通渭縣地區的不可估量的損失。能做的就是加快5G網絡、數據中心等新型基礎設施建設。要注重調動對這些先進技術與方式的學習與應用的積極性。加快5G網絡的建設,需要基于OFDM優化的波形和多址接入,然后實現可擴展的OFDM間隔參數配置,可支持多種部署模式的不同信道寬度,適應統一部署下不同的參數配置,在同一框架下提高多路傳輸效率。OFDM加窗可以提高多路傳輸效率,并且需要靈活的框架設計。需要的新型無線技術有:① 大規模MIMO。通過天線的二位排布,可以實現3D波束成型,提高信道容量和覆蓋;② 毫米波。將頻率大于24GHz以上的頻段應用于移動寬帶通信,大量可用的高頻段頻譜可提供極致數據傳輸速度和容量。③ 邊緣計算。5G要實現低延時,就需要用到邊緣計算,要在基站上建立計算和存儲能力,在靠近物或數據源頭的一側,采用網絡、計算、存儲、應用核心能力為一體的開放平臺,就近提供最近短服務,在最短的時間完成計算,發出指令。這樣,在預測分析后,可以用最快的速度發送給每一位種地的人,并且在發送的同時會像人工智能一樣將問題返回云端并且搜索數據庫中的解決方法,一并發給需要的人。所以為此,首當其沖就是建好5G基站,先建立完整的5G環境體系。然后通過宣傳和下鄉教學,讓所有人都能突破現有的條件束縛。使用SciKit-Learn的線性回歸模塊預測天氣?,F在我們已經完成了選擇具有統計意義的預測指標(特征)的步驟,我們可以使用SciKit-Learn創建預測模型并測試其預測平均溫度的能力。SciKit-Learn是一個非常完善的機器學習庫,在工業界和學術界廣泛使用。關于SciKit-Learn的一件事非常令人印象深刻的是,它在許多數值技術和算法中保持了一個非常一致的“適應”,“預測”和“測試”API,使得使用它非常簡單。除了這個一致的API設計,SciKit-Learn還提供了一些有用的工具來處理許多機器學習項目中常見的數據。我們將通過SciKit-Learnsklearn.model_selection模塊中導入train_test_split()函數來開始將我們的數據集分割成測試和訓練集。我將把訓練和測試數據集分成80 %的訓練和20 %的測試,并且分配一個12 的random_state,以確保得到隨機選擇數據。這個random_state參數對結果的可重復性非常有用。我將從sklearn.linear_model模塊導入并使用LinearRegression類。正如前面提到的,scikit-learn分數通過通用的fit()和predict()這兩個函數計算得到。為了獲得關于模型有效性的解釋性理解,我使用了回歸模型的score()函數來確定該模型能夠解釋在結果變量(平均溫度)中觀察到的約90 %的方差。此外,我使用sklearn.metrics模塊的mean_absolute_error()和median_absolute_error()來確定平均預測值約為3 ℃關閉,一半時間關閉約2 ℃。數據獲取分析主要使用SparkSQL相關知識與技術,對定西市過去24 小時累積降雨量和當日平均氣溫進行了計算和排序。特別說明:由于獲取數據所需時間較長,天氣數據的時間跨度可能略有不一致。相關步驟如下:(1 )創建SparkSession對象spark。(2 )使用spark.read.csv(filename)讀取passed_weather_ALL.csv數據生成Dateframedf。(3 )對df進行操作:使用Dateframe的select方法選擇province,city_name,city_code,rain1h字段,并使用Column對象的cast(dateType)方法將rain1h轉成數值型,再使用Dateframe的filter方法篩選出rain1h小于1000 的記錄(大于1000 是異常數據),得到新的Dateframedf_rain。(4 )對df_rain進行操作:使用Dateframe的groupBy操作按照province,city_name,city_code的字段分組,使用agg方法對rain1h字段進行分組求和得到新的字段rain24h(過去24 小時累積雨量),使用sort方法按照rain24h降序排列,經過上述操作得到新的Dateframedf_rain_sum。(5 )對df_rain_sum調用cache()方法將此前的轉換關系進行緩存,提高性能。(6 )對df_rain_sum調用coalesce()將數據分區數目減為1 ,并使用write.csv(filename)方法將得到的數據持久化到本地文件。(7 )對df_rain_sum調用head()方法取前若干條數據(即24 小時累積降水量Top-N的列表)供數據可視化使用。數據預測結果主要依靠數據可視化方式呈現,基于spark獲取和分析的數據,我們針對以1971-2016 年該區域的日均氣溫、最高溫、最低溫、降水量做出一個回歸模型,再以2017-2020 年該區域的日均氣溫、降水量為參數進行氣象預測工作并通過3D立體效果可視化到界面。通過這些方法針對定西市影響蕎麥生長的干旱和洪澇因素作預測,使農民有效的預防并制定具體措施。
4 針對通渭縣氣象災害的綜合對策
4.1 增強環境保護意識,降低氣候惡化程度
在全世界發展的同時,地球的環境也發生著巨大的變化。從最開始的全球變暖到現在的自然災害愈加頻繁,嚴重影響農作物的生產。其一是旱災,很常見的一種自然災害,在近幾年,我省通渭縣因旱災導致農作物受災面積將近170km2 ,造成直接經濟損失1 億元。其二就是洪澇,一般在六七月份比較嚴重,因短期強降雨造成了我省農作物受災面積達到500km2 ,直接經濟損失4.79 億元。其三是低溫冷凍和雪災,在2-5 月份的時候,降雪引發的低溫冷凍災害是最為嚴重的,造成我省11 個市農作物受災面積將近7000km2 。其四災害天氣為風雹,我省多市出現冰雹強風天氣,導致農作物不同程度受到影響,農作物受災面積達到367.9km2 。最后一種為火災,火災一旦發生,造成的危害是巨大的,不僅僅使得農作物受災嚴重,使得經濟上有所損失,更加難以修復的危害則是造成了環境污染。火災發生,一氧化碳與二氧化碳的大量釋放,導致全球變暖更為嚴重。而在這些原因中,在我們所調查的地區――定西通渭縣,最常見的是洪澇與干旱。環境惡化造成自然災害,災害又導致經濟受損與環境污染。往復循環,造成難以挽救的傷害。因此,應該如何提高環境保護意識。第一,在現實生活中,可以借助媒體來宣傳環境保護的意義,提高人們保護環境的意識,呼吁人們保護環境的決心。我國人民的文化素質在改革開放以來不斷提高,但是道德素質還有待改進,尤其在邊緣城市,表現的格外明顯,我們應提高人民的道德素質,從而更好地灌輸環境保護意識,在這方面還有很大的提升空間。第二,就是決定國家未來走向的教育事業,青少年強,則國家富有強大。環境保護意識從教育中入手,他們是祖國未來的希望,這樣做也是為了以后環境的發展作考慮。第三,要結合理論與實踐。實踐是檢驗真理的唯一標準,只有進行實踐,我們做的每一個項目才有意義,才能起到它應該有的作用。當然環境保護也是如此,我們不能一味的呼吁,教育,更重要的是人們能夠自覺地維護我們的家園。
4.2 建立氣象災害防治工作長期預測
在保護環境之后,只是起到了一個減少災害發生概率的作用。而要做到更大程度的保護農作物,還需要科技的支持,現如今,在物聯網、云計算、大數據三大巨頭風靡的這個時代,我們應更好地利用它。為我們所研究的作物支持更好的生存環境,為當地人民謀取更大的福利。我們所研究的方向主要為蕎麥所受氣象災害的影響。農業預測數據的技術是一個龐大的數據,異構數據的復雜度高,結果是數據的分析效率低下,因此我們采用k最近鄰組織算法和分布式并行處理方法。大數據融于氣象災害預測是一個不二的選擇,大數據的預測結果有更強的確定性和可操作性,讓非常規的氣象災害在發生之前有一定的預兆,讓人們有時間去準備充足的防御措施。而利用大數去預測氣象,就好比建立了一個非常巨大的數據庫,在這個數據庫中存儲著利用遙感以及其他技術所收集的一些樣本數據,從中可以得到海量數據,然后經過數據分析、數據清洗以及數據集成得到有價值的數據,也就是說可以幫我們預測氣象災害的數據。氣象部門是防災減災的核心部門,在建立好數據分析體系以后,在現在看來只靠技術是不行的,如何防護才是減少損失的關鍵。首先,需要建立一個風險的預警體系,我們可建立預警所用的紅外線,當大數據分析利用所提供的樣本數據分析出結果,它就可對這一結果做出實時反應,從而縮短了氣象災害治理中的時間差,讓風險發生的概率降低或者讓災害所造成的損失降到最低。蕎麥的經濟價值很高,它已經成為了很流行的保健品之一。它的生長周期大概在九個月左右,一般在立秋的時候播種,在次年的五月份左右收割。而在這期間,我們要利用大數據技術、云計算、人工智能等對它進行實時監控與保護。蕎麥怕霜凍,因此我們要知道蕎麥播種前后的氣象變化,不能出現急劇的降溫天氣,也不能出現冰雹等氣象災害。還有防旱,通過氣象預測平臺了解蕎麥在生長周期期間是否會出現旱災的情況,從而制定相應的應對方案。利用大數據技術分析出風險因素,從而制定出合理的預防方案。
4.3 幫助農民樹立正確的防災觀念
從古至今,農民的觀念里都是靠天吃飯。那么如何正確防災,是需要向農民普及的。首先,我們應該使得這次防災減災知識講座范圍大,場次多。我們應該多次舉行防災講座活動,并且要盡量動員大家都參加。為了是大家都知道,可由村干部下達命令,讓每戶人至少有一位參加。再者,我們灌輸思想的途徑要多,力度要大,可舉辦知識競賽,而且優秀者有相應獎勵??梢栽诿刻斓?4 小時之中,分時間段,在廣播中講解、傳輸防災減災的知識。講述當自然災害發生后如何應對,以及可用的應急措施。最后,可通過掛橫幅的方式,讓農民耳濡目染這些東西,從而可以從容應對災害。如今,在短視頻爆火的時候,可借助短視頻APP傳播防災減災知識,它幾乎可以全面覆蓋我國地區,傳播范圍廣,且人們容易接受。短視頻優點有:可以提高品牌的知名度、節省人員的時間成本與經濟成本、圖畫代替文字,更容易深入人心。所以在幫助農名樹立正確的防災觀念這一方面,它也是一個很好的選擇。當大數據進入人們的生活,根據您的一切行為,推算出你所需產品,而農民就是后臺推送如何才能讓莊稼大豐收的對象??偠灾r民依靠農作物,國家需要農作物保持經濟平衡。好的防災意識是一個良好的習慣,使得損失降到最低。
5 結論
綜上所述,我們可以通過Spark算法,線性回歸模型,大數據預測可視化等方法去預測農業氣象災害的發生情況,更好地保障農民的財產安全,有效地促進我國農業的可持續發展。
[1]楊子梅.通渭縣苦蕎產業發展現狀及對策[J].甘肅農業,2010(2):72-73.
[2]項立剛.5G的基本特點與關鍵技術[J].中國工業和信息化,2018,1(5):36-43.
[3]陳豐偉.5G的速度與激情[J].互聯網天地,2018(6):41-44.
[4]張蘊.MassiveMIMO基于鏡像法的室內信道建模[D].南京郵電大學,2018.
[5]張啟.通渭縣甜蕎麥高產栽培技術[J].甘肅農業,2005(10):182.
[6]張平軍.甘肅定西生態建設與畜牧經濟發展――甘肅草原生態建設與畜牧業發展調查的分類研究[J].甘肅畜牧獸醫,2016(19):40-42.
[7]徐文.淺談環境保護與如何提高公民環保意識[J].建筑工程技術與設計,2015(25):1790.
[8]孟宣辰.黃土高原旱作區種植結構分析和紫花苜蓿覆膜施肥效應研究[D].蘭州大學,2016.
[9]田俊杰.紋理圖案主結構的快速提取方法研究[D].湖北:華中科技大學,2018.