Apache Hadoop
Hadoop je framework obsahující sadu open-source softwarových komponent určených pro zpracování a velkého množství nestrukturovaných a distribuovaných dat v řádech petabytů a exabytů. [1].
Vývoj Hadoop a jeho derivátů
Hadoop je rozvíjen v rámci open source software. V jeho vývoji se angažuje organizace Apache Software Foundation. [2] Volné komponenty Hadoop jsou dostupné na stránkách hadoop.apache.org. Na bázi Hadoop jsou postavena mnohá komerčně dodávaná řešení [3] pro big data[4].
Apache Hadoop
Aktuální verze Hadoop (2012) pracuje na 4000 uzlech clusterů. Nová verze, která je v zatím v alfa stádiu, by měla by být vydána do konce roku a přináší rozšíření na 6000 uzlů. Pro uzel se počítá 16 (a více) jader a 10000 paralelních úkolů. V nové verzi je vylepšen HDFS (Hadoop Distributed File System [5]). MapReduce, což je modul řešící distribuované zpracování[6], byl vylepšen a přepsán na verzi Yarn a slibuje zdvojnásobení propustnosti dat ve velkých skupinách. [2] Pro novou verzi je také plánována kompatibilita s protokolem Wire.
Významní uživatelé
Reference [7]
- Amazon.com
- Akamai
- American Airlines
- AOL
- Apple[8]
- eBay
- Federal Reserve Board of Governors
- foursquare
- Fox Interactive Media
- Gemvara
- Hewlett-Packard
- IBM
- ImageShack
- ISI
- Intuit
- Joost
- Last.fm
- LinkedIn[9]
- Microsoft[10]
- NetApp
- Netflix[11]
- Riot Games
- Risk Management Solutions (RMS)
- The New York Times
- The Walt Disney Company
- SAP AG[12]
- SAS Institute[13]
- StumbleUpon[14]
- Yahoo!
- Yodlee
Odkazy
Reference
- ↑ DOLÁK, Ondřej. Big data [online]. [cit. 2012-11-30]. Dostupné online.
- ↑ a b ŠVERÁK, Petr. Apache vydává novou verzi Hadoop [online]. 3.3.2012 [cit. 2012-11-30]. Dostupné online.
- ↑ InfoSphere BigInsights (Bringing the power of Hadoop to the enterprise)
- ↑ en:Big data
- ↑ HDFS User Guide
- ↑ The Hadoop Distributed File System: Architecture and Design
- ↑ Applikace a organizace používající Hadoop
- ↑ Apple Embraces Hadoop [online]. [cit. 2011-04-14]. Dostupné v archivu pořízeném z originálu dne 28 February 2011.
- ↑ Building a terabyte-scale data cycle at LinkedIn with Hadoop and Project Voldemort [online]. [cit. 2011-04-14]. Dostupné online.
- ↑ Microsoft Expands Data Platform With SQL Server 2012, New Investments for Managing Any Data, Any Size, Anywhere [online]. [cit. 2011-10-13]. Dostupné online.
- ↑ Use Case Study of Hive/Hadoop [online]. [cit. 2011-04-14]. Dostupné online.
- ↑ SAP UNVEILS UNIFIED STRATEGY FOR REAL-TIME DATA MANAGEMENT TO GROW DATABASE MARKET LEADERSHIP [online]. SAP America [cit. 2012-06-09]. Dostupné online.
- ↑ SAS® access to Hadoop links leading analytics, big data [online]. Dostupné online.
- ↑ HBase at StumbleUpon [online]. [cit. 2010-06-26]. Dostupné online.
Literatura
- White, T.: Hadoop: The Definitive Guide, O'Reilly Media, Incorporated, 2009, ISBN 9780596521974
- Lam, Ch.: Hadoop in Action, O'Reilly Media, 2010, ISBN 1935182196, 9781935182191, 312 stran