北京時間1月16日消息,據(jù)國外媒體報道,隨著像谷歌(微博)和Facebook這樣的互聯(lián)網(wǎng)巨頭需要處理的數(shù)據(jù)越來越龐大,傳統(tǒng)的電子網(wǎng)絡(luò)設(shè)備已感到力不從心,難以應(yīng)付了。于是,我們需要使用全新的光纖網(wǎng)絡(luò)設(shè)備來解決這個問題。那么,谷歌和Facebook該如何采用光纖網(wǎng)絡(luò),使其數(shù)據(jù)傳輸速度躍升到光速呢?下面讓我們來一探究竟。
傳統(tǒng)網(wǎng)絡(luò)設(shè)備已無法處理龐大數(shù)據(jù)流量
在2011年的一個清晨,全球最受歡迎的社交網(wǎng)絡(luò)Facebook的一名工程師按下了一個按鈕,結(jié)果讓該公司的整個業(yè)務(wù)陷入癱瘓。
這個不知姓甚名誰的工程師本不該犯錯的。他原本只是想運行這個社交網(wǎng)絡(luò)巨頭一直在運行的某項軟件任務(wù)。他運行了分布式數(shù)據(jù)分析平臺Hadoop。結(jié)果,F(xiàn)acebook開始分析數(shù)億個用戶產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)儲存在該公司多個數(shù)據(jù)中心的上萬臺服務(wù)器上。當(dāng)你分析這些數(shù)據(jù)時,所有那些服務(wù)器之間就必須開始相互對話。
據(jù)Facebook員工多恩-李(Donn Lee)在去年春季的一次會議上回憶該事故時稱,一次Hadoop任務(wù)就讓該公司的電腦網(wǎng)絡(luò)感到不堪重負(fù),并導(dǎo)致其他的業(yè)務(wù)幾乎處于停滯狀態(tài)。“我清楚地記得那個早晨?!崩钫f,“它讓Facebook陷入了癱瘓,非常嚴(yán)重的癱瘓。”
李當(dāng)時是Facebook的網(wǎng)絡(luò)工程師,他試圖說明電腦網(wǎng)絡(luò)在近些年的變化。在過去,大多數(shù)網(wǎng)絡(luò)數(shù)據(jù)流量在服務(wù)器和試圖訪問網(wǎng)頁的互聯(lián)網(wǎng)用戶之間來回傳輸。但是現(xiàn)在,隨著像Facebook、谷歌和亞馬遜這樣越來越龐大和復(fù)雜的業(yè)務(wù)出現(xiàn),數(shù)據(jù)中心內(nèi)部和服務(wù)器之間的數(shù)據(jù)流量增加了,這些網(wǎng)絡(luò)巨頭使用的傳統(tǒng)網(wǎng)絡(luò)設(shè)備已無法處理這么多的流量。
因此,網(wǎng)絡(luò)正在發(fā)生與時俱進的變化。像Facebook和谷歌這樣的公司正在打造更高速的網(wǎng)絡(luò)硬件,他們正在重新修改其網(wǎng)絡(luò)的拓?fù)?,以適應(yīng)服務(wù)器之間傳輸?shù)某罅髁俊5?,這樣的改進措施作用并不明顯。像多恩-李這樣的網(wǎng)絡(luò)專家也開始考慮在數(shù)據(jù)中心配置全新的網(wǎng)絡(luò)設(shè)備——可用光束傳播數(shù)據(jù)的設(shè)備。
電子和光纖網(wǎng)絡(luò)并駕齊驅(qū)
是的,某些互聯(lián)網(wǎng)數(shù)據(jù)已開始以光的形式來進行傳輸了。這就是光纖網(wǎng)絡(luò)。標(biāo)準(zhǔn)的電子信號被轉(zhuǎn)換成了光子,并沿著玻璃光纖電纜進行傳輸。但是,在通常情況下,這種數(shù)據(jù)傳輸方式通常發(fā)生在數(shù)據(jù)中心之間,而很少發(fā)生在數(shù)據(jù)中心內(nèi)部。下一步就是緊盯著光纖來重新打造數(shù)據(jù)中心網(wǎng)絡(luò),讓傳統(tǒng)的電子網(wǎng)絡(luò)交換機與可極大加快服務(wù)器之間數(shù)據(jù)傳輸速度的光纖交換機并駕齊驅(qū)。
“如果我們能夠做到這一點,這種混合型的網(wǎng)絡(luò)——可適應(yīng)更多數(shù)據(jù)流量的大規(guī)模網(wǎng)絡(luò)——就非常具有吸引力?!泵绹永D醽喆髮W(xué)神迭戈分校的光線網(wǎng)絡(luò)研究員喬治-帕彭(George Papen)說,“我們現(xiàn)在還沒有達到這一步,但是我們比以前更接近了?!?/P>
帕彭所在的該校區(qū)的研發(fā)團隊已開發(fā)出了這樣的混合型網(wǎng)絡(luò),該網(wǎng)絡(luò)目前尚處于測試階段,可演示光纖交換機的工作原理。他們的這個研究項目,通常被稱為Helios,是由谷歌和其他技術(shù)巨頭資助的。該項目的主要研究員之一亞敏-法達特(Amin Vahdat)目前在谷歌任職,他在谷歌也在積極地探索類似的研究課題;該團隊的另一名成員內(nèi)森-法靈頓(Nathan Farrington),已加入了Facebook的團隊。
據(jù)帕彭稱,Helios項目要完全得以實現(xiàn)還有很長的路要走。但是,在美國馬薩諸塞州劍橋,一家名為Plexxi的創(chuàng)業(yè)公司最近推出了一款光纖網(wǎng)絡(luò)交換機,旨在重新打造數(shù)據(jù)中心。雖然這項技術(shù)完全不同于Helios,但是它們具有相同的基本目標(biāo)。
“光子交換的功能非常強大。一旦你的業(yè)務(wù)涉足光纖交換領(lǐng)域,而不是電子交換領(lǐng)域,你就會擁有內(nèi)在的性能上的優(yōu)勢?!盤lexxi公司CEO大衛(wèi)-胡薩克(Dave Husak)說,“我們都致力于達到那樣的效果。”
未來的Helios項目
如果谷歌讓亞敏-法達特來重新打造它的數(shù)據(jù)中心,那么這將是一件很有意義的事情。法達特以前就做過類似的事情。
從傳統(tǒng)上來說,網(wǎng)絡(luò)是分層級的。如果你將服務(wù)器歸為一個層級,那么在這個層級之上的就是網(wǎng)絡(luò)交換機,你需要將這些服務(wù)器與網(wǎng)絡(luò)交換機連接。然后,你將這些“高一層級的交換機”與更高層次的高速網(wǎng)絡(luò)設(shè)備連接;再接下來,你將這二層次的網(wǎng)絡(luò)設(shè)備與第三個更高層次的網(wǎng)絡(luò)設(shè)備連接。當(dāng)你到達網(wǎng)絡(luò)核心時,你運行的非常昂貴的網(wǎng)絡(luò)硬件速度遠遠超過了服務(wù)器層級上的交換機。
你需要這種更快的速度來適應(yīng)所有來自于網(wǎng)絡(luò)的流量——這或許是我們以前的看法。法達特及其同事證明,這種層級結(jié)構(gòu)是錯誤的。如果你使用速度一般的、更廉價的網(wǎng)絡(luò)設(shè)備,你就可能更高效地運行你的網(wǎng)絡(luò)。
“這是一個革命?!迸僚碚f,“在此之前,人們就像建造電信網(wǎng)絡(luò)那樣來打造他們的數(shù)據(jù)中心。但是,法達特的研究團隊意識到這樣做難以節(jié)省成本,他們證明了你可以用完全不同的方式來打造數(shù)據(jù)中心?!?/P>
這種統(tǒng)一的網(wǎng)絡(luò)架構(gòu)被稱為“胖樹”(fat tree)架構(gòu)設(shè)計。它現(xiàn)在已成為大型網(wǎng)絡(luò)業(yè)務(wù)的普遍形式。這就是為什么像谷歌這樣的公司已開始放棄思科等公司的昂貴設(shè)備,轉(zhuǎn)而從亞洲制造公司那里購買低成本的硬件。但是,Helios項目(法達特也有份參與),致力于創(chuàng)造更大的變化。
基本的思想就是建造一半電子一半光纖的混合型網(wǎng)絡(luò)。這種網(wǎng)絡(luò)既能夠像現(xiàn)有的電子網(wǎng)絡(luò)一樣運行,以電子的形式通過銅線和硅來傳輸數(shù)據(jù),也能夠通過光纖交換機在不同服務(wù)器之間傳輸某些數(shù)據(jù)。
今天,一些網(wǎng)絡(luò)已開始使用光纖纜線在不同交換機之間或服務(wù)器與交換機之間傳輸數(shù)據(jù)。但是,一旦光子到達交換機,它們就會被轉(zhuǎn)換成電子。在Helios項目中,基本的想法是打造一個真正的光纖網(wǎng)絡(luò),從而消除傳統(tǒng)電子網(wǎng)絡(luò)的負(fù)擔(dān)。
從某種意義上來說,這個項目將會回到未來。今天的網(wǎng)絡(luò)使用所謂的“封包交換”(packet-switching)來回傳輸數(shù)據(jù),在輸出數(shù)據(jù)前先將它們分解成更小的信息流。這就是互聯(lián)網(wǎng)的運行方式。但是,Helios項目的光纖部分使用的是“電路交換”(circuit-switching),可在兩個端點之間建立專門的聯(lián)系。這就是老式手機網(wǎng)絡(luò)的運行方式。
“只要看看數(shù)據(jù)中心的每個封包,你就會發(fā)現(xiàn)它并沒有高效地使用你的資源?!迸僚碚f,“如果你能夠明白,哪怕是部分明白,數(shù)據(jù)流量的傳輸方向,你就不必查看每個封包的每個集管,你就能夠創(chuàng)造一個專門的電路來傳輸大量數(shù)據(jù),而不必讓其通過封包交換的網(wǎng)絡(luò)。”
帕彭將此比喻為一個可解決洛杉磯交通擁堵的系統(tǒng)——只要在該城市擁堵的地方臨時搭建幾座橋梁即可?!澳銜鶕?jù)需要放下這座橋梁,疏通堵塞地方的車流;然后,在未來某個時候,將這個橋梁移到交通堵塞的其他地方。”他說。
這種構(gòu)造非常具有吸引力,因為光纖電路交換網(wǎng)絡(luò)比傳統(tǒng)的設(shè)計更加靈活。傳統(tǒng)網(wǎng)絡(luò)交換機是為特定的數(shù)據(jù)傳輸速度設(shè)定的:每秒10G,40G,等等。但是,光纖交換機則不同?!半娐肥且粋€管道,它不在乎數(shù)據(jù)傳輸速度是多少。它是速度不可知論者。”他說,“你幾乎能夠在上面?zhèn)鬏斎魏嗡俣鹊臄?shù)據(jù)。這一點是非常具有吸引力的。”
雖然這種架構(gòu)要變成現(xiàn)實的數(shù)據(jù)中心還有很長的路要走,但是帕彭相信它最終將會實現(xiàn)?!罢嬲募记墒桥靼S金分割點。”他說,“哪些流量需要在現(xiàn)有的網(wǎng)絡(luò)上傳輸,哪些數(shù)據(jù)需要轉(zhuǎn)到電路交換網(wǎng)絡(luò)上?”于是,這就出現(xiàn)了成本的問題。光學(xué)硬件比電子設(shè)備的成本更高,盡管它的成本正在下降。
法達特和谷歌的研究很可能已接近現(xiàn)實,但是帕彭強調(diào)說,就連他自己也不知道谷歌將會怎么做?!拔以诖笮蛿?shù)據(jù)中心有很多搞光纖的朋友,盡管如此,我仍然不知道他們準(zhǔn)備做什么。”他說。
就谷歌而言,它最重要的競爭優(yōu)勢就是其內(nèi)部架構(gòu)的設(shè)計。谷歌甚至對它資助的外部研究者也不愿透露這種設(shè)計。法達特并沒有對記者要求采訪的請求作出回應(yīng),谷歌的公關(guān)部門也拒絕討論該公司的光纖網(wǎng)絡(luò)研究。
但是,谷歌并不是唯一探索光纖交換未來的公司。這樣做的公司還有Facebook、思科、IBM和現(xiàn)在的Plexxi公司。
光纖網(wǎng)絡(luò)的前景
Helios項目將整個網(wǎng)絡(luò)一分為二——其中的一半由電子交換機驅(qū)動,而另一半則是靠光學(xué)硬件來驅(qū)動;而Plexxi公司則將電子和光纖網(wǎng)絡(luò)整合到了一個交換機中。這一裝置在去年的晚些時候才正式地向世人公布,而且至少有一家公司(云服務(wù)公司Cloud Sigma)正在其實時數(shù)據(jù)中心使用這種交換機。
你將這些交換機串在一起,盡管他們可以繼續(xù)通過電子網(wǎng)絡(luò)傳輸其中的某些數(shù)據(jù),但是你也可以在特定的端點之間直接創(chuàng)建光纖連接——在這些端點之間,你可以用光纖連接來傳輸非常龐大的數(shù)據(jù)。一根光纖電纜將這些交換機連接起來。但是在這根電纜上,你可以使用不同波長的光在兩個特定的交換機之間建立連接,這些連接可以免受來自網(wǎng)絡(luò)其他部分的數(shù)據(jù)流的干擾。
與帕彭類似,Plexxi公司的首席執(zhí)行官胡薩克用高速公路來比喻這一技術(shù)?!霸趥鹘y(tǒng)的網(wǎng)絡(luò)上,電纜往哪走你就得跟著往哪發(fā)送數(shù)據(jù)。這就是所謂的高速公路網(wǎng)。瀝青鋪到哪你就跟到哪?!彼f,“而對于Plexxi公司,從某種程度上講,你可以隨意自己鋪路。如果證明是兩個地方彼此之間想要進行大量的數(shù)據(jù)傳輸,那么我們可以直接在它們之間創(chuàng)建光纖通道?!?/P>
但是,Plexxi公司并不使用電路交換技術(shù)。在進軍光纖領(lǐng)域時,它堅持使用封包交換。而且它也不會通過搭建橋梁來疏導(dǎo)流量。它只是提供一個軟件控制器,讓你根據(jù)你自己正在運行的應(yīng)用程序來搭建這些光纖路徑。
Plexxi公司的交換機的價格比一個普通的網(wǎng)絡(luò)開關(guān)大約要貴上一倍:前者的價格大約在7萬美元,而后者則只有3.5萬美元。但是根據(jù)CloudSigma公司網(wǎng)絡(luò)負(fù)責(zé)人亞歷山大-伊萬諾夫(Alexander Ivanov)的說法,你可以在其他方面來彌補多出的這一部分成本。該公司能夠用更少的網(wǎng)絡(luò)交換機來運行自己的網(wǎng)絡(luò),而且該網(wǎng)絡(luò)更擅長于該公司數(shù)據(jù)中心內(nèi)的來回傳輸?shù)凝嫶髷?shù)據(jù)流量——數(shù)據(jù)中心內(nèi)部的數(shù)據(jù)傳輸叫做“東西流量”,數(shù)據(jù)中心之間的數(shù)據(jù)傳輸叫做“南北流量”。
你可以看出,東西流量的增加不僅對于谷歌、Facebook和其他許多依賴于分布式數(shù)據(jù)軟件的公司來說是一個問題,而且對于CloudSigma、亞馬遜和其他“云端”服務(wù)來說也是如此——這些服務(wù)為外部客戶提供計算能力。云服務(wù)同樣需要各個服務(wù)器之間進行大量的數(shù)據(jù)交流。
隨著所有這些業(yè)務(wù)的持續(xù)發(fā)展,電子網(wǎng)絡(luò)的局限性將只會帶來更多的問題。數(shù)據(jù)中心越大,服務(wù)器之間的距離就越遠,而它們之間的距離越遠,電子網(wǎng)絡(luò)連接就會變得越不穩(wěn)定,會變得更麻煩。光纖網(wǎng)絡(luò)毫無疑問就是問題的解決辦法。問題在于它最快要何時才會出現(xiàn)。
|