Hadoopとは

Hadoop は、分散コンピューティングでデータ処理を実現する基盤を提供します。
Apacheでソース管理されているオープンソース・ソフトウェアです。

大きく2つの機能を有します。
(1)HDFS(Hadoop Distributed File System)
複数のスレーブコンピュータ内のローカルディスク上に作成した(各ノードに分散している)ファイル領域を共有する独自のファイルシステムです。

(2)Map/Reduce
分散コンピューティング処理を実現するJavaアプリケーション

Hadoopは元々Googleが検索エンジンのインデックスを作成するために開発された技術に端を発しています。

Googleのエンジニアがそのベースとなる技術を論文発表したことで、広く知られるようになりました。そのため、Hadoopの開発ソースは、Googleが開発したものとは全く別物です。

 

- Sponsored Link -

Hadoopの日本での利用状況


日本でも、2009年~2010年頃から、
楽天、amazon、クックパッドなどのIT企業やIT先進企業が
活用を始めていましたが、2011年にクラウドコンピューティング
が注目を集めて、サービスが充実し、一般企業での利用が普及
すると共に、クラウド環境を活用するための基盤システムとして
広く認知されるようになりました。

当初は、Googleに代表される企業と同様に、
Webサービスで取得した大量のアクセスログを時間効率よく
分析することから、利用が広まりました。

しかし、その後、バッチ業務のスループットを大幅に改善できる
点に注目した事例が2012年前半に公表されるなどして、
基幹業務での活用を検討する企業が増加してきています。

2012年は「ビッグデータ」というキーワードも一般化しました。
Hadoopは、分散コンピューティング基盤として、
今後、増々注目される技術になっていきます。

 

- Sponsored Link -