2017年即將畫上句號，這一年IT界關(guān)注的焦點之一即“智慧城市”，媒體甚至將2017年稱為智慧城市發(fā)展元年。隨著智慧城市大帷幕的開啟，大數(shù)據(jù)也作為其中一個主角走上了舞臺，并伴隨著大數(shù)據(jù)搜集和分析技術(shù)的發(fā)展，未來的交通、零售、醫(yī)療、安全、教育等領(lǐng)域都將發(fā)生重大變化。大數(shù)據(jù)將在智慧城市中擔(dān)當(dāng)重任，也使得當(dāng)前大數(shù)據(jù)的研究更加緊迫和關(guān)鍵。大數(shù)據(jù)研究前沿 北大重點實驗室擔(dān)重任如今越來越多的領(lǐng)域都需要使用大數(shù)據(jù)分析和挖掘技術(shù)，大數(shù)據(jù)的獲取、挖掘和分析不只是生產(chǎn)工具，而且它已經(jīng)成為科學(xué)進程的組成部分，未來不論在自然科學(xué)還是社會科學(xué)方面，很多研究都將由大數(shù)據(jù)驅(qū)動。大數(shù)據(jù)研究這一具有挑戰(zhàn)性的課題，目前由國內(nèi)*頂尖的高等學(xué)府北京大學(xué)重點研究實驗室承擔(dān)，也就是北京大學(xué)機器感知與智能教育部重點實驗室（以下簡稱北大重點實驗室）。北大重點實驗室是一個橫跨多個研究領(lǐng)域的實驗室，目前涉及的主要領(lǐng)域包括計算機科學(xué)、智能科學(xué)技術(shù)、心理學(xué)以及認(rèn)知科學(xué)等，是一個多學(xué)科交叉科研機構(gòu)。實驗室以實現(xiàn)高度智能化的機器感知系統(tǒng)為目標(biāo)，并緊密結(jié)合國民經(jīng)濟和社會發(fā)展的要求，開展機器感知、智能信息處理與認(rèn)知科學(xué)方面的基礎(chǔ)與應(yīng)用基礎(chǔ)研究。目前實驗室的主要研究方向有感知機理，計算智能與知識發(fā)現(xiàn)，視感知，聽感知，數(shù)字媒體技術(shù)，可視化與視覺計算。北大重點實驗室承擔(dān)著多學(xué)科的重點研究，并一直走在科技的前沿，這次北大重點實驗室承接了大數(shù)據(jù)研究這一項目后，將工作重點不僅放在了研發(fā)用于處理海量數(shù)據(jù)的新技術(shù)和系統(tǒng)上面，還放在了確保個人資料的收集、處理和分析在一個嚴(yán)密、安全的環(huán)境下進行上面。同時，北大重點實驗室還承擔(dān)著如何利用大數(shù)據(jù)解決交通運輸、城市規(guī)劃、衛(wèi)生、財政和教育等現(xiàn)實中不同領(lǐng)域的問題，以及如何通過大數(shù)據(jù)建立分析模型，來預(yù)測傳染病的傳播并進行輿情分析等研究方向。大數(shù)據(jù)研究面臨的挑戰(zhàn)及北大重點實驗室IT選型重點目前，參與大數(shù)據(jù)研究的各方面臨著一些技術(shù)上的挑戰(zhàn)，其中包括：1. 非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理據(jù)統(tǒng)計，目前采集到的數(shù)據(jù)85%以上是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫技術(shù)無法勝任這些數(shù)據(jù)的處理，因為關(guān)系數(shù)據(jù)庫系統(tǒng)的出發(fā)點是追求高度的數(shù)據(jù)一致性和容錯性。2. 如何探索大數(shù)據(jù)復(fù)雜性、不確定性特征描述的刻畫方法及大數(shù)據(jù)的系統(tǒng)建模這一問題的突破是實現(xiàn)大數(shù)據(jù)知識發(fā)現(xiàn)的前提和關(guān)鍵。從長遠角度來看，依照大數(shù)據(jù)的個體復(fù)雜性和隨機性所帶來的挑戰(zhàn)將促使大數(shù)據(jù)數(shù)學(xué)結(jié)構(gòu)的形成，從而導(dǎo)致大數(shù)據(jù)統(tǒng)一理論的完備。從短期而言，學(xué)術(shù)界鼓勵發(fā)展一種一般性的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)化原則，以支持大數(shù)據(jù)的交叉工業(yè)應(yīng)用。管理科學(xué)，尤其是基于*優(yōu)化的理論將在發(fā)展大數(shù)據(jù)知識發(fā)現(xiàn)的一般性方法和規(guī)律性中發(fā)揮重要的作用。3. 數(shù)據(jù)異構(gòu)性與決策異構(gòu)性的關(guān)系對大數(shù)據(jù)知識發(fā)現(xiàn)與管理決策的影響由于大數(shù)據(jù)本身的復(fù)雜性，這一問題無疑是一個重要的科研課題，對傳統(tǒng)的數(shù)據(jù)挖掘理論和技術(shù)提出了新的挑戰(zhàn)。在大數(shù)據(jù)環(huán)境下，管理決策面臨著兩個“異構(gòu)性”問題：“數(shù)據(jù)異構(gòu)性”和“決策異構(gòu)性”。傳統(tǒng)的管理決定模式取決于對業(yè)務(wù)知識的學(xué)習(xí)和日益積累的實踐經(jīng)驗，而管理決策又是以數(shù)據(jù)分析為基礎(chǔ)的。4. 數(shù)據(jù)的去冗余和高效率低成本的數(shù)據(jù)存儲數(shù)據(jù)中有大量的冗余，消除冗余是降低開銷的重要途徑。大數(shù)據(jù)的存儲方式不僅影響效率也影響成本，需要研究高效率低成本的數(shù)據(jù)存儲方式。需要研究多源多模態(tài)數(shù)據(jù)的高質(zhì)量獲取與整合的理論和技術(shù)、錯誤自動檢測與修復(fù)的理論和技術(shù)、低質(zhì)量數(shù)據(jù)上的近似計算的理論和算法等。5. 大數(shù)據(jù)的有效融合數(shù)據(jù)不整合就發(fā)揮不出大數(shù)據(jù)的大價值。大數(shù)據(jù)的泛濫與數(shù)據(jù)格式太多有關(guān)。大數(shù)據(jù)面臨的一個重要問題是個人、企業(yè)和政府機構(gòu)的各種數(shù)據(jù)和信息能否方便地融合。6. 適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開發(fā)環(huán)境不同行業(yè)需要不同的大數(shù)據(jù)分析工具和開發(fā)環(huán)境，應(yīng)鼓勵計算機算法研究人員與各領(lǐng)域的科研人員密切合作，在分析工具和開發(fā)環(huán)境上創(chuàng)新。當(dāng)前跨領(lǐng)域跨行業(yè)的數(shù)據(jù)共享仍存在大量壁壘，海量數(shù)據(jù)的收集，特別是關(guān)聯(lián)領(lǐng)域的同時收集還存在很大挑戰(zhàn)。7. 大幅度降低數(shù)據(jù)處理、存儲和通信能耗的新技術(shù)大數(shù)據(jù)的獲取、通信、存儲、管理與分析處理都需要消耗大量的能源。在能源問題日益突出的今天，研究創(chuàng)新的數(shù)據(jù)處理和傳送的節(jié)能方法與技術(shù)是重要的研究方向。顯然，這些挑戰(zhàn)是大數(shù)據(jù)研究者共同面臨的，而北大重點實驗室IT選型的重點就是針對上述的挑戰(zhàn)，找到合適的解決方案。北大重點實驗室IT架構(gòu)解決方案經(jīng)過大量的前期調(diào)查，比較和分析準(zhǔn)備工作，北大重點實驗室*后選擇了華為基于高性能服務(wù)器RH5885 V2的HANA數(shù)據(jù)處理平臺。HANA提供的對大量實時業(yè)務(wù)數(shù)據(jù)進行快速查詢和分析以及實時數(shù)據(jù)計算等功能，在很大程度上得益于華為RH5885 V2服務(wù)器的高可靠、高性能和高可用性的支撐。華為RH5885 V2是新一代四路/八路機架服務(wù)器，采用Intel？ Xeon？ E7-8800/4800系列處理器，支持6核、8核及10核CPU類型，*高頻率2.66GHz，*大30MB L3緩存空間，完全能滿足大數(shù)據(jù)分析、挖掘?qū)Ψ��?wù)器提出的具備強大處理性能的要求；支持兩個高性能GPU，這就在很大程度上提升了系統(tǒng)圖形處理與浮點計算能力，恰好滿足了大數(shù)據(jù)分析中圖形展示對服務(wù)器提出的高性能GPU要求。RH5885 V2其他的特點還包括：可靈活擴展，八路服務(wù)器支持128條內(nèi)存，*大容量4TB；可靠性高，支持多達35項容錯特性；維護簡單，支持免開箱維護和綠色環(huán)保等。這些特點都為HANA提供了強大的硬件支撐，讓HANA能夠順暢地進行大數(shù)據(jù)的各種應(yīng)用。北大重點實驗室繼續(xù)引領(lǐng)大數(shù)據(jù)研究前沿華為高性能服務(wù)器RH5885V2的HANA一體機應(yīng)用于北大重點實驗室后，經(jīng)過近一年的使用，以事實證明了其高可靠、高性能的領(lǐng)先優(yōu)勢，不僅如此，北大重點實驗室的相關(guān)負(fù)責(zé)人認(rèn)為：“華為創(chuàng)新的SSD 高速存儲卡，使一體機I/O 性能提升了5 倍，僅系統(tǒng)硬件就幫助北大重點實驗節(jié)省投資60%，一體機方案優(yōu)勢明顯。更重要的是，通過使用華為高性能服務(wù)器RH5885V2的HANA一體機，優(yōu)越的性能幫助我們的研究取得事半功倍的效果，并在智能化大數(shù)據(jù)領(lǐng)域的研究始終走在國內(nèi)的*前沿。“而華為也在此次與北大重點實驗室的合作中，更細(xì)致的把握了教育行業(yè)及大數(shù)據(jù)應(yīng)用的需求特點，幫助更多的中國教育行業(yè)用戶及大數(shù)據(jù)應(yīng)用用戶構(gòu)建更加卓越的IT系統(tǒng)架構(gòu)。