| 北京時間9月20日消息，據(jù)國外媒體報道，谷歌將GPS天線和高精度的原子鐘裝到了它的服務器中，并通過Spanner系統(tǒng)創(chuàng)造性地讓全球多個數(shù)據(jù)中心和數(shù)百萬臺服務器之間保持信息同步。
谷歌的神奇魔棒
三年前，有人問一位名為維杰-吉爾（Vijay Gill）谷歌高級工程師，如果給他一根魔棒，他會用它來做什么。
當時，吉爾正幫助谷歌運行其網絡帝國背后的龐大數(shù)據(jù)中心網絡。在美國舊金山商業(yè)區(qū)的一次會議上，他談論了全球業(yè)務所面臨的獨特挑戰(zhàn)。負責監(jiān)管Facebook數(shù)據(jù)中心的喬納森-黑爾格（Jonathan Heilger）坐在離吉爾幾個席位的地方。正是他問了吉爾這個問題：如果他有一個魔棒，他會給谷歌的數(shù)據(jù)中心增添一些什么東西。
吉爾在回答前略微猶豫了一下。在回答的時候，他似乎顯得有些含糊其辭。但是，他的意思似乎是他會用這根魔棒來打造一個單獨的系統(tǒng)，自動而迅速地處理所有谷歌數(shù)據(jù)中心的信息。接著，他暗示谷歌已經建立了一個這樣的系統(tǒng)。“你如何在全球范圍內管理這個系統(tǒng)，并進行優(yōu)化呢？”他說，“這就是最有趣的部分。”
這聽起來是一個非常棘手的問題。但是，在大約四個月后，谷歌又透露了另一條消息。在蒙大拿山區(qū)的一次研討會上，谷歌最舉足輕重的工程師之一杰夫-迪恩（Jeff Dean）透露，該網絡巨頭正在研制一種名為Spanner的東西，并形容它是“跨越我們所有數(shù)據(jù)中心的存儲和計算系統(tǒng)”。他表示，該計劃的目的是同時處理全球“數(shù)百乃至數(shù)千個”數(shù)據(jù)中心的1000萬臺服務器中的數(shù)據(jù)。
該項目的覆蓋范圍令人難以想象。但是，迪恩并未透露相關詳情。而且，目前尚不清楚，谷歌是否正在其現(xiàn)有的數(shù)據(jù)中心使用這個平臺。
Spanner項目
本周，據(jù)科技博客GigaOm和ZDnet報道，谷歌已發(fā)表了一篇研究論文，詳細闡述了Spanner的情況。谷歌聲稱，這是首個能在全球數(shù)據(jù)中心網絡快速存儲和檢索信息的數(shù)據(jù)庫，而且，它還能夠保持信息的“一致性”，即任何用戶在任何時候均能夠看到同樣的信息。多年來，它一直推動著該公司廣告系統(tǒng)和其他各種網絡服務的發(fā)展。
Spanner借用了谷歌為其數(shù)據(jù)中心打造的其他大規(guī)模軟件平臺的技術，但是，從本質上來說，它是全新的東西。Spanner接入到了裝有超精確原子鐘或GPS天線（類似于智能手機上的那種）的服務器網絡上，并利用這些計時器在這樣龐大的網絡上精確地同步發(fā)行數(shù)據(jù)。你沒有聽錯，谷歌將GPS天線和精確的原子鐘裝到了它的服務器中。
“這是很了不起的事情，而且確實具有創(chuàng)造性?！睌?shù)據(jù)存儲公司Basho的首席架構師安迪-格羅斯（Andy Gross）說。該公司開發(fā)的開源數(shù)據(jù)庫Riak已運行在數(shù)千臺服務器上，但是仍然沒有Spanner的覆蓋面廣?！皞鹘y(tǒng)的智慧認為，在全球范圍內像這樣的時間同步是不現(xiàn)實的?！?/P>
Spanner項目聽起來就像是一項不同尋常的事業(yè)，當然，它也要處理日常工作中遇到的一般問題。很少有公司像谷歌這樣被迫如此迅速地處理如此多的數(shù)據(jù)。但是，谷歌大規(guī)模數(shù)據(jù)中心的技術總會流向技術領域中的其他公司。最典型的例子就是廣泛使用的大數(shù)據(jù)平臺Hadoop，它就模擬了谷歌的技術。而且，這種發(fā)展趨勢可能會持續(xù)下去。
“如果你希望知道未來大規(guī)模、高性能的數(shù)據(jù)處理架構是什么樣子的，我建議你讀一讀谷歌剛剛發(fā)表的研究論文?！盚adoop開源軟件整體方案供應商Cloudera 公司的CEO邁克-奧爾遜（Mike Olson）最近在硅谷的一次活動中說。據(jù)Cloudera公司的產品副總裁查爾斯-澤德勒維斯基（Charles Zedlewski）稱，該公司（在招聘谷歌前工程師后）已聽說了Spanner，它最終可能會將該論文中的思想轉變成它的軟件。
Facebook正在打造類似于Spanner的系統(tǒng)，其目的也是同時處理多個數(shù)據(jù)中心的信息。我們通過與Facebook交流獲悉，該公司的這個系統(tǒng)名為Prism，與谷歌的Spanner完全不同。但是，它表明其他公司現(xiàn)在正在想法處理谷歌在過去幾年中遇到的問題。
這篇有關Spanner的論文有很多人署名，但其中有兩位非常杰出：杰夫-迪恩和桑杰-格瑪沃特（Sanjay Ghemawat）。在從昔日電腦巨頭DEC研究部門跳槽到谷歌后，迪恩和格瑪沃特幫助谷歌設計了三個大規(guī)模軟件平臺，它們對于其他互聯(lián)網公司產生了較大的影響。MapReduce和Google File System最終導致了Hadoop的誕生，而BigTable幫助孕育出了一系列適合于存儲和檢索大量信息的NoSQL數(shù)據(jù)庫。
Spanner利用了BigTable的技術，但是它走得更遠。BigTable常用于在單個數(shù)據(jù)中心的數(shù)千臺服務器上存儲信息，而Spanner則更進一步，在數(shù)百萬個服務器和多個數(shù)據(jù)中心存儲信息。
這個平臺最具創(chuàng)意的部分就是谷歌所謂的TrueTime API。API是應用程序編程接口的意思，但在這里，它是指其服務器接入的中央數(shù)據(jù)傳送專線?；旧?，TrueTime就使用GPS天線和原子鐘來維持谷歌整個網絡的運行。GPS天線利用了全球定位系統(tǒng)（Global Position System），該系統(tǒng)利用一系列太空衛(wèi)星來跟蹤時間和地理位置，而原子鐘則利用單個原子屬性來保持準確的時間。
用計時器保證服務器網絡同步
谷歌拒絕討論Spanner?！斑@篇論文已說得很清楚了?！痹摴景l(fā)言人說。但是，她指出了該論文中突出強調API重要性的部分?！拔覀兊脑O計中有一個方面非常突出?！边@篇論文寫道，“Spanner功能組的關鍵就是TrueTime?！?/P>
要理解TrueTime，你就必須弄清楚現(xiàn)有數(shù)據(jù)庫的局限性?，F(xiàn)在有很多數(shù)據(jù)庫是專門用于在數(shù)千臺服務器上存儲數(shù)據(jù)的。其中大多數(shù)借鑒了谷歌的BigTable數(shù)據(jù)庫或亞馬遜的類似存儲系統(tǒng)Dynamo。它們運行良好，但是卻無法同時處理多個數(shù)據(jù)中心的信息——至少不能夠讓多個數(shù)據(jù)中心的信息始終保持一致。
據(jù)Basho公司的首席架構師安迪-格羅斯稱，問題的關鍵在于服務器必須不斷地交流，以確保它們能夠正確存儲和檢索數(shù)據(jù)。Basho公司的Riak數(shù)據(jù)庫是在亞馬遜Dynamo的基礎上開發(fā)出來的。如果你在多個地理位置的數(shù)據(jù)中心來運行它，你就可能會讓系統(tǒng)崩潰?！澳惚仨毑粩嗟亟涣?，以確定所有交易的秩序是正確的。”格羅斯說，“潛在的制約因素通常是建立快速數(shù)據(jù)庫的成本高得令人望而卻步?！?/P>
大數(shù)據(jù)公司10gen的首席執(zhí)行官麥克斯-希雷森（Max Schireson）從不同的角度進行了解釋。該公司的 MongoDB數(shù)據(jù)庫效法了BigTable。希雷森稱，假設你用一種網絡服務在兩個銀行賬戶之間轉賬，其中一個銀行賬戶在歐洲，另一個在亞洲。如果你在歐洲，這種轉賬過程似乎能夠完成。但是，對于在亞洲的某個人來說，它可能完成不了，因為存在通信延遲的問題。
他繼續(xù)說，可能還存在這樣的情況：一個觀察者在同一時間看到兩個銀行賬戶都有這筆錢。簡而言之，該服務可能無法總像廣告標榜的那樣完美，因為每個人看到的數(shù)據(jù)并不相同。在這個例子中，數(shù)據(jù)是不一致的。
如果再看看數(shù)以百萬計的人使用的服務，你可以看出這個問題有多大?！叭绻写罅康娜嗽L問分布于世界各地的大量的系統(tǒng)，由于它們相互之間的通信延遲時間較長，因此你就很難保持所有的事情同步?！彼f，“如果你增加那些影響因素，同步就會變得更加困難?！?/P>
借助于TrueTime，Spanner成功解決了這個問題，它采用的方法令所有人感到意外。谷歌不是著眼于改善服務器之間的通信，而是在其服務器網絡上到處安裝時鐘。它將GPS天線或原子鐘安裝到各種不同的服務器上，與TrueTime API協(xié)同工作。最終，這些計時器保證了整個服務器網絡同步運行。
谷歌做法值得借鑒
“（除了谷歌外）當前有許多研究專注于機器之間的復雜的協(xié)調協(xié)議……但是，谷歌卻采用了完全不同的方法?！备窳_斯說，“通過使用高精度的時鐘和一個對時間非常靈敏的API，Spanner可讓服務器節(jié)點不必經過復雜的通信就能夠變得協(xié)調一致?！?/P>
簡而言之，TrueTime API利用了這些重要的計時器，而網絡上的服務器則利用了這些API。然后，TrueTime告訴服務器當前有多少“不確定性”，然后，它們就會相應地調整其讀數(shù)。
普通服務器利用公共原子鐘來保持準確的時間。但是，格羅斯認為這一方法還不夠準確。谷歌更進一步，直接在自己的服務器上安裝了原子鐘和GPS天線。
最初，該系統(tǒng)是用來幫助整個谷歌帝國投放廣告，但是后來，它已經擴展到谷歌其他形形色色的服務當中。該系統(tǒng)還幫助谷歌在其整個網絡中復制和轉移數(shù)據(jù)，從而幫助該公司的數(shù)據(jù)中心進行維修和升級，甚至安全渡過眾多的網絡危機。三年前，當吉爾第一次提到Spanner的時候，他說，由于溫度過高，谷歌自動將大量數(shù)據(jù)從需要暫時關閉的設備中轉移出了。
問題的關鍵是，除非你在服務器中添加硬件，否則你無法使用Spanner。在這篇論文中，谷歌聲稱原子鐘的成本并不高，而且10gen公司的總裁麥克斯-希雷森表示，其他企業(yè)也安裝了類似的設備。但是，Basho公司的格羅斯和Cloudera公司的澤德勒維斯基均認為，它的成本仍然太高，不適合推廣使用。
格羅斯稱，對于像Basho這樣的公司來說，建立依賴于這種設備的系統(tǒng)并沒有意義。而就Cloudera公司而言，澤德勒維斯基也說過類似的話。即便他們看到了Spanner的未來。
就像許多其他NoSQL公司一樣，Basho公司的目標就是服務于大型網絡公司和其他需要處理大規(guī)模網絡數(shù)據(jù)的公司。而格羅斯聲稱Spanner背后的基本理念可以幫助該公司做到這一點。
他說：“谷歌往往走在開源技術的前沿。不是每個人都能夠買得起原子鐘，但是我們可以從中學習他們所用到的方法。只要看一看谷歌的做法，你就能從中受益匪淺?！? |
浙公網安備 33038102330897號