全球大數據產業發展現狀與應用趨勢
發布時間:2024-06-08瀏覽人數:
1 大數據發展概述
當今是一個數據爆發增長的時代。移動互聯網、移動終端和數據傳感器的出現,使數據以超出人們想象的速度快速增長。據調查機構估測,數據數量一直在快速增加,這個速度不僅是指數據流的增長,而且還包括全新的數據種類的增多。目前數據容量增長的速度,已經大大超過了硬件技術的發展速度,并正在引發數據存儲和處理的危機。據統計,2013年全球產生的數據達到3.5澤字節,到2020年產生的數量將增至44澤字節。
“大數據”一詞來自于未來學家托夫勒于1980年所著的《第三次浪潮》。最早開始對大數據進行應用探索的是2005年雅虎公司的Hadoop項目。Hadoop其最初只是用來解決網頁搜索問題的一個項目,后被Apache Software Foundation公司引入并成為開源應用。Hadoop是由多個軟件產品組成的一個生態系統,這些軟件產品共同實現全面功能和靈活的大數據分析。
世界上許多國家都已經認識到了大數據所蘊含的重要戰略意義,紛紛開始在國家層面進行戰略部署,以迎接大數據技術革命正在帶來的新的機遇和挑戰。以美國為代表的發達國家在推進大數據上已經形成了從發展戰略、法律框架到行動計劃的完整布局。
2 全球各國大數據的發展現狀
美國在《大數據研究和發展倡議》中,提出將通過收集龐大而復雜的數字資料,從中獲得知識和洞見,以提升能力。并協助加速在科學、工程上發現的步伐,強化美國國土安全,轉變教育和學習模式。根據這一計劃,美國希望利用大數據技術實現在多個領域的突破,包括科研教學、環境保護、工程技術、國土安全、生物醫藥等。其中具體的研發計劃涉及了美國國家科學基金會、國家衛生研究院、國防部、能源部、國防部高級研究局、地質勘探局等6個聯邦部門和機構。
擁有世界第二多人口的印度,近兩年也持續運用大數據,期許打造出一個更便利、更親民的智慧城市。印度全國軟件與服務企業協會(Nasscom)預計,印度大數據行業規模在三年內將快速增長,是當前規模的六倍,同時還是全球大數據行業平均增長速度的兩倍。對于印度的整個IT行業來說,大數據時代的到來會創造更多更新的機遇。
英國政府2012年時計劃在未來兩年內,在大數據和節能計算研究上投資1.89億英鎊,以帶動企業在該領域的投資。大數據被英國看作是自己的優勢所在,且英國認為已在政府層面為大數據做好了準備。
法國政府在2013年投入近1150萬歐元,用于7個大數據市場研發項目。目的在于“通過發展創新性解決方案,并將其用于實踐,來促進法國在大數據領域的發展。”法國政府在《數字化路線圖》中列出了五項將大力支持的戰略性高新技術,大數據就是其中一項。
日本在2012新一輪IT振興計劃中,將發展大數據作為國家戰略層面提出,重點關注大數據應用技術,如社會化媒體等智能技術的開發、新醫療技術的開發、以及交通擁堵治理等公共領域的應用。
新加坡政府在大數據發展過程中充當了關鍵角色,抓住了大數據發展的五大關鍵要素:基礎設施、產業鏈、人才、技術和立法,彌補了企業的短板。新加坡政府很早就提出支持新加坡企業采用大數據技術,利用大數據提升政府服務水平。
此外,澳大利亞、加拿大、新西蘭、德國和印度等國也在大數據領域進行了研究部署,還紛紛推出本國的公共數據開放網站,以使更多的人可以使用大數據資源,并從中獲得利益。目前,全球至少擁有大大小小的數據開放網站50余個。
2.1 歐盟大數據的發展
目前,歐盟及其成員國已經明確制定大數據發展戰略,數據價值鏈不同階段產生的價值將成為未來知識經濟的核心,利用好數據可以為運輸、健康或制造業等傳統行業帶來新的機遇。
歐盟在大數據方面的活動主要涉及四方面內容:研究數據價值鏈戰略因素;資助“大數據”和“開放數據”領域的研究和創新活動;實施開放數據政策;促進公共資助科研實驗成果和數據的使用及再利用。
(1)數據價值鏈戰略計劃
歐盟委員會正在研究制定數據價值鏈戰略計劃,以實現數據的最大價值,重點是通過一個以數據為核心的連貫性歐盟生態體系,讓數據價值鏈的不同階段產生價值。數據價值鏈的概念為數據的生命周期,從數據產生、驗證以及進一步加工后,以新的創新產品和服務形式出現的利用和再利用。
數據價值鏈戰略計劃遵循的主要原則是:高質量數據的廣泛獲得性,包括公共資助數據
的免費獲得;作為數字化單一市場一部分,歐盟內數據的自由流動;尋求個人潛在隱私問題與其數據再利用潛力之間的適當平衡,同時賦予公民以其希望形式使用自己數據的權利。
這一計劃的重點是培育一個連貫的歐洲數據生態系統,促進圍繞數據的研究和創新工作,采納數據服務及產品,采取具體行動,改善數據價值提取的框架條件,包括基礎能力、基礎設備、標準以及有利的政策和法規環境。目前正在單一戰略框架下制定一系列重點行動,解決數據價值鏈中與價值創造相關的大量交叉問題。
數據價值鏈戰略計劃包括開放數據、云計算、高性能計算和科學知識開放獲取四大戰略。
•數據開放戰略
歐盟認為,為加強創新潛力,應盡可能的以最好的方式使用資源,這些創新資源就是數據,開放數據將成為新的就業和經濟增長的重要工具。為了應對這一變革,2010年11月歐盟通信委員會向歐洲議會提交了“開放數據:創新、增長和透明治理的引擎”的報告,報告以開放數據為核心,制定了應對大數據挑戰的戰略。
•云計算戰略
2012年9月,歐委會通過公布了“釋放歐洲云計算服務潛力”戰略,戰略計劃通過兩年時間,把歐盟打造成云計算服務的強勢集團,為2014-2020年期間的歐盟云起飛(夯實基礎。歐盟云計算戰略及三大關鍵行動分別為:規范和簡化的云計算標準;云計算安全和公平的合同條款及條件;建設歐盟云計算伙伴關系,驅動創新和增長。其它的具體行動舉措還包括:數據保護、網絡安全、信任舉措、云計算互操作性、寬帶部署、在線服務、公共行業首先參與云計算和國際對話與合作等。目前歐盟已成立6個戰略實施工作小組,具體涉及云標準協調、服務標準協議、認證計劃、行為守則、專家研究小組和云伙伴關系。
•高性能計算戰略
在歐盟第七框架計劃和“地平線2020”計劃下的研究和創新支持可擴展的高性能計算系統。小型“數據中心式開箱”可以單獨部署或集中在嵌入式系統在汽車或電話交換機,或者可以在大規模地聚集成為一個云服務器——如處理單元(GPU)或者高性能計算(HPC)系統。
•科學知識開放獲取
科學知識開放獲取的目標是提高歐盟層面和成員國層面政府資助的科學研究的影響力,2012-2013年,歐盟委員會投入4500萬歐元建設支持開放共享和科學信息長期保存的基礎設施,并與各個相關利益團體就開放共享和數字信息保存工作進行對話,同時建議各成員國:制定本國的公共資助科研論文開放共享政策,探索科學數據開放共享和科學信息長期保存,支持相應的基礎設施建設。2012年7月17日,歐盟委員會發布開放共享政策,宣布歐盟Horizon2020計劃所資助科研論文全部實行開放共享。2013年12月25日,歐盟委員會宣布啟動試點,開放公共資助研究數據,2014-2015年,參與開放研究數據試點的關鍵領域的項目將獲得約30億歐元的經費。
(2)資助“大數據”和“開放數據”領域的研究和創新活動
歐盟委員會在資助“大數據”和“開放數據”領域的研究和創新活動外,還啟動“連接歐洲設施”(CEF)計劃,采取權益和債務證券及補助相結合的形式促進數字基礎設施的建設。在2014年1月的信息和網絡日上,歐盟委員會確定了“地平線2020”連接歐洲設施計劃的2014-2015年工作內容。
(3)實施開放數據政策
開放數據政策一方面制定公共信息再利用的法規和國家執行規則以及歐盟委員會自身數據再利用規則;另一方面支持公共部門信息開放活動,此外還搭建開放數據平臺。
(4)促進公共資助科研實驗成果和數據的使用及再利用
促進公共資助科研試驗成果和數據的使用和再使用也稱科學知識開放獲取。
當今是一個數據爆發增長的時代。移動互聯網、移動終端和數據傳感器的出現,使數據以超出人們想象的速度快速增長。據調查機構估測,數據數量一直在快速增加,這個速度不僅是指數據流的增長,而且還包括全新的數據種類的增多。目前數據容量增長的速度,已經大大超過了硬件技術的發展速度,并正在引發數據存儲和處理的危機。據統計,2013年全球產生的數據達到3.5澤字節,到2020年產生的數量將增至44澤字節。
“大數據”一詞來自于未來學家托夫勒于1980年所著的《第三次浪潮》。最早開始對大數據進行應用探索的是2005年雅虎公司的Hadoop項目。Hadoop其最初只是用來解決網頁搜索問題的一個項目,后被Apache Software Foundation公司引入并成為開源應用。Hadoop是由多個軟件產品組成的一個生態系統,這些軟件產品共同實現全面功能和靈活的大數據分析。
世界上許多國家都已經認識到了大數據所蘊含的重要戰略意義,紛紛開始在國家層面進行戰略部署,以迎接大數據技術革命正在帶來的新的機遇和挑戰。以美國為代表的發達國家在推進大數據上已經形成了從發展戰略、法律框架到行動計劃的完整布局。
2 全球各國大數據的發展現狀
美國在《大數據研究和發展倡議》中,提出將通過收集龐大而復雜的數字資料,從中獲得知識和洞見,以提升能力。并協助加速在科學、工程上發現的步伐,強化美國國土安全,轉變教育和學習模式。根據這一計劃,美國希望利用大數據技術實現在多個領域的突破,包括科研教學、環境保護、工程技術、國土安全、生物醫藥等。其中具體的研發計劃涉及了美國國家科學基金會、國家衛生研究院、國防部、能源部、國防部高級研究局、地質勘探局等6個聯邦部門和機構。
擁有世界第二多人口的印度,近兩年也持續運用大數據,期許打造出一個更便利、更親民的智慧城市。印度全國軟件與服務企業協會(Nasscom)預計,印度大數據行業規模在三年內將快速增長,是當前規模的六倍,同時還是全球大數據行業平均增長速度的兩倍。對于印度的整個IT行業來說,大數據時代的到來會創造更多更新的機遇。
英國政府2012年時計劃在未來兩年內,在大數據和節能計算研究上投資1.89億英鎊,以帶動企業在該領域的投資。大數據被英國看作是自己的優勢所在,且英國認為已在政府層面為大數據做好了準備。
法國政府在2013年投入近1150萬歐元,用于7個大數據市場研發項目。目的在于“通過發展創新性解決方案,并將其用于實踐,來促進法國在大數據領域的發展。”法國政府在《數字化路線圖》中列出了五項將大力支持的戰略性高新技術,大數據就是其中一項。
日本在2012新一輪IT振興計劃中,將發展大數據作為國家戰略層面提出,重點關注大數據應用技術,如社會化媒體等智能技術的開發、新醫療技術的開發、以及交通擁堵治理等公共領域的應用。
新加坡政府在大數據發展過程中充當了關鍵角色,抓住了大數據發展的五大關鍵要素:基礎設施、產業鏈、人才、技術和立法,彌補了企業的短板。新加坡政府很早就提出支持新加坡企業采用大數據技術,利用大數據提升政府服務水平。
此外,澳大利亞、加拿大、新西蘭、德國和印度等國也在大數據領域進行了研究部署,還紛紛推出本國的公共數據開放網站,以使更多的人可以使用大數據資源,并從中獲得利益。目前,全球至少擁有大大小小的數據開放網站50余個。
2.1 歐盟大數據的發展
目前,歐盟及其成員國已經明確制定大數據發展戰略,數據價值鏈不同階段產生的價值將成為未來知識經濟的核心,利用好數據可以為運輸、健康或制造業等傳統行業帶來新的機遇。
歐盟在大數據方面的活動主要涉及四方面內容:研究數據價值鏈戰略因素;資助“大數據”和“開放數據”領域的研究和創新活動;實施開放數據政策;促進公共資助科研實驗成果和數據的使用及再利用。
(1)數據價值鏈戰略計劃
歐盟委員會正在研究制定數據價值鏈戰略計劃,以實現數據的最大價值,重點是通過一個以數據為核心的連貫性歐盟生態體系,讓數據價值鏈的不同階段產生價值。數據價值鏈的概念為數據的生命周期,從數據產生、驗證以及進一步加工后,以新的創新產品和服務形式出現的利用和再利用。
數據價值鏈戰略計劃遵循的主要原則是:高質量數據的廣泛獲得性,包括公共資助數據
的免費獲得;作為數字化單一市場一部分,歐盟內數據的自由流動;尋求個人潛在隱私問題與其數據再利用潛力之間的適當平衡,同時賦予公民以其希望形式使用自己數據的權利。
這一計劃的重點是培育一個連貫的歐洲數據生態系統,促進圍繞數據的研究和創新工作,采納數據服務及產品,采取具體行動,改善數據價值提取的框架條件,包括基礎能力、基礎設備、標準以及有利的政策和法規環境。目前正在單一戰略框架下制定一系列重點行動,解決數據價值鏈中與價值創造相關的大量交叉問題。
數據價值鏈戰略計劃包括開放數據、云計算、高性能計算和科學知識開放獲取四大戰略。
•數據開放戰略
歐盟認為,為加強創新潛力,應盡可能的以最好的方式使用資源,這些創新資源就是數據,開放數據將成為新的就業和經濟增長的重要工具。為了應對這一變革,2010年11月歐盟通信委員會向歐洲議會提交了“開放數據:創新、增長和透明治理的引擎”的報告,報告以開放數據為核心,制定了應對大數據挑戰的戰略。
•云計算戰略
2012年9月,歐委會通過公布了“釋放歐洲云計算服務潛力”戰略,戰略計劃通過兩年時間,把歐盟打造成云計算服務的強勢集團,為2014-2020年期間的歐盟云起飛(夯實基礎。歐盟云計算戰略及三大關鍵行動分別為:規范和簡化的云計算標準;云計算安全和公平的合同條款及條件;建設歐盟云計算伙伴關系,驅動創新和增長。其它的具體行動舉措還包括:數據保護、網絡安全、信任舉措、云計算互操作性、寬帶部署、在線服務、公共行業首先參與云計算和國際對話與合作等。目前歐盟已成立6個戰略實施工作小組,具體涉及云標準協調、服務標準協議、認證計劃、行為守則、專家研究小組和云伙伴關系。
•高性能計算戰略
在歐盟第七框架計劃和“地平線2020”計劃下的研究和創新支持可擴展的高性能計算系統。小型“數據中心式開箱”可以單獨部署或集中在嵌入式系統在汽車或電話交換機,或者可以在大規模地聚集成為一個云服務器——如處理單元(GPU)或者高性能計算(HPC)系統。
•科學知識開放獲取
科學知識開放獲取的目標是提高歐盟層面和成員國層面政府資助的科學研究的影響力,2012-2013年,歐盟委員會投入4500萬歐元建設支持開放共享和科學信息長期保存的基礎設施,并與各個相關利益團體就開放共享和數字信息保存工作進行對話,同時建議各成員國:制定本國的公共資助科研論文開放共享政策,探索科學數據開放共享和科學信息長期保存,支持相應的基礎設施建設。2012年7月17日,歐盟委員會發布開放共享政策,宣布歐盟Horizon2020計劃所資助科研論文全部實行開放共享。2013年12月25日,歐盟委員會宣布啟動試點,開放公共資助研究數據,2014-2015年,參與開放研究數據試點的關鍵領域的項目將獲得約30億歐元的經費。
(2)資助“大數據”和“開放數據”領域的研究和創新活動
歐盟委員會在資助“大數據”和“開放數據”領域的研究和創新活動外,還啟動“連接歐洲設施”(CEF)計劃,采取權益和債務證券及補助相結合的形式促進數字基礎設施的建設。在2014年1月的信息和網絡日上,歐盟委員會確定了“地平線2020”連接歐洲設施計劃的2014-2015年工作內容。
(3)實施開放數據政策
開放數據政策一方面制定公共信息再利用的法規和國家執行規則以及歐盟委員會自身數據再利用規則;另一方面支持公共部門信息開放活動,此外還搭建開放數據平臺。
(4)促進公共資助科研實驗成果和數據的使用及再利用
促進公共資助科研試驗成果和數據的使用和再使用也稱科學知識開放獲取。
上一篇:返回列表
下一篇:大數據服務還是那個大數據服務嗎?