分布計(jì)算：微軟推出Dryad公測(cè)版平臺(tái)

Win7之家（ www.airtaxifl.com）：分布計(jì)算：微軟推出Dryad公測(cè)版平臺(tái)

微軟發(fā)布了公測(cè)版Dryad平臺(tái)，成為谷歌MapReduce分布式數(shù)據(jù)計(jì)算平臺(tái)的競(jìng)爭(zhēng)對(duì)手。微軟的Dryad項(xiàng)目主要研究用于編寫并行和分布式程序的編程模型。

目前，科技界已經(jīng)有一款發(fā)展迅速的開源版MapReduce：Apache的Hadoop項(xiàng)目。微軟至少有一個(gè)部門正在使用Hadoop，并且為其貢獻(xiàn)代碼�，F(xiàn)在微軟推出自己的產(chǎn)品并不令人奇怪，因?yàn)镠adoop畢竟是開源項(xiàng)目。

微軟在博客中表示，已經(jīng)發(fā)布了Dryad平臺(tái)以及DryadLINQ編程語言的“社區(qū)技術(shù)預(yù)覽”。 DryadLINQ被用于在該平臺(tái)上構(gòu)建應(yīng)用。與谷歌的專有平臺(tái)MapReduce相似，Dryad也通過分布式計(jì)算機(jī)網(wǎng)絡(luò)計(jì)算海量數(shù)據(jù)。但與 MapReduce不同的是，Dryad是針對(duì)運(yùn)行Windows HPC Server的計(jì)算機(jī)集群設(shè)計(jì)的，而且DryadLINQ使用.NET的LINQ查詢語言模型。

2004年，谷歌發(fā)布了兩篇關(guān)于MapReduce和分布式文件系統(tǒng)GFS的研究報(bào)告，這兩篇報(bào)告成為Hadoop的基礎(chǔ)。Hadoop最初是由開源網(wǎng)絡(luò)爬蟲Nutch的創(chuàng)始人達(dá)格·卡廷(Doug Cutting)開發(fā)的。

Apache 將Hadoop變?yōu)殚_源項(xiàng)目，雅虎也對(duì)Hadoop進(jìn)行了單獨(dú)開發(fā)�，F(xiàn)在，Hadoop是雅虎的在線基礎(chǔ)設(shè)施的重要支撐，并且已經(jīng)被Facebook、 Twitter、蘋果和微軟等科技巨頭采用。2008年，微軟收購了語義搜索企業(yè)Powerset，并將Powerset公司基于Hadoop的相關(guān)技術(shù)用于必應(yīng)(Bing)搜索引擎。

微軟甚至允許原Powerset員工承諾向Hadoop貢獻(xiàn)代碼。Powerset還成立了Hadoop的姊妹項(xiàng)目HBase，模仿谷歌的BigTable分布式數(shù)據(jù)庫。

事實(shí)上，Dryad和DryadLINQ早在微軟收購Powerset之前就已經(jīng)存在。微軟于2007年首次發(fā)布了關(guān)于該技術(shù)的研究報(bào)告，并于2009年夏向?qū)W術(shù)界發(fā)布了非商業(yè)版Dryad和DryadLINQ。

Dryad的“社區(qū)技術(shù)預(yù)覽”要求必須有基于Windows HPC Pack 2008 R2 Enterprise的計(jì)算機(jī)集群，并且安裝有Service Pack 1。已經(jīng)注冊(cè)HPC Pack 2008 R2的用戶可以獲取該社區(qū)技術(shù)預(yù)覽。

類似于Dryad，Hadoop也提供自己的查詢語言，事實(shí)上，它有兩種查詢語言。雅虎開發(fā)的查詢語言被稱為Pig，而Facebook開發(fā)的更高級(jí)語言被稱為Hive。