Hadoop 2010 – 2011 Mobile 版

image143[3][3][3][4][2]

December 24, 2010
Hadoop に似た Dryad は、Microsoft の Big Data スターになれるのか
Microsoft の HPC 部門は先週、主として Windows HPC Server ユーザーのために設計された、プロダクションに対応可能な Big Data ツールを提供する、Dryad 並列処理テクノロジーの Community Technology Preview(CTP)を、その第一歩として公開した。 そこで利用する Dryad/DSC/DryadLINQ といったコンポーネントは、大まかなところで Hadoop コンポーネント(Hadoop MapReduce/Hadoop Distributed File System/SQL-like Hive programming language)に対応しているように見える。

 

image280_thumb2

December 4, 2010
ついに Apple も、Hadoop ユーザーになるようだ!
Steve Jobs のオープンソース定義に、Hadoop が入る入らないは別にして、 データ・インテンシブな分散アプリケーションをサポートするために構築され、ますます注目度を高めているこのフレームワークを、Apple は受け入れるようだ。

 

image2712

November 23, 2010
Karmasphere Studio は、Windows にも対応
先週のことだが、Hadoop を使い始める際のチュートリアルについて説明した。 そして、さらに Hadoop に取り組んでいくときには、専用の開発環境が必要になるかもしれない。 Karmasphere は、Hadoop ジョブのプロトタイプおよび、デベロップメント、デバッグに用いる Hadoop 開発環境として、無償の "community edition" と 有償の ”professional version” を提供している。

 

image2686

November 16, 2010
Facebook のメッセージング再構築する立役者は HBase だ!
今日の Tech 系 Web サイトは、電子メール/メッセージ/チャット/SMS をシームレスに統合する、新しくデザインされた Facebook のメッセージ・システムの発表で沸き返っている。  ころから分かることは、この新しいメッセージ・プロダクトが、新しいバックエンドをも必要としていることだ。

 

image2655

October 26, 2010
実行中にノードを追加できる、新しい Elastic MapReduce とは?
私たちのカスタマーは、大量の Amazon EC2 インスタンスを用いた、大規模スケールのデータセットを処理するために、Amazon Elastic MapReduce を活用している。 そのようなカスタマーである Seattle の Razorfish は、日々の処理サイクルをスピードアップする一方で、必要とされる $500 K 以上の資本投資を回避した。

 

image2626

October 13, 2010
Hadoop World: Cloudera は Big Data Friends を得たが ・・・
Hadoop World は、New York で今日に開催され、大規模なパラレル分析ソフトウェアの趨勢を示している。 そして、このイベントからは、たくさんのニュースが提供されている。 予測どおりに、すべてのタイプのベンダーとサービスプロバイダをミックスするアクションを、Cloudera は起こした。

 

image7

October 12, 2010
Hadoop World 2010 のアジェンダが発表
Hadoop World NYC ですが、日本時間の今夜(現地の10月12日)から 、昨年に引き続き開催されます。 先程ですが、Cloudera の Blog を確認したら、10月8日付けでセッション・アジェンダが公開されていました。

 

image2561

October 10, 2010
MapReduce と Hadoop の将来について
Google Caffeine のアナウンスメントを考慮に入れて(MapReduce ベースのインデックス更新を、よりタイムリーな更新を提供する新しいエンジンを、Google が置き換えたという一連の要約のこと)、Michael StonebrakerとDeWitt’の論文、”MapReduce:大きな後退”は従って正しいと証明されたことになっていないのかと、Tony Bainは考えている。

 

image2526

October 5, 2010
Hadoop ベンダーたちは、銀行から利益を得られるのか?
先週のことだが、分析フィールドにおける M&A のあらしについて書いたが、企業買収だけを掘り下げても、この領域がホットであるという、全体的なストーリーを伝えられない。 今週に公表された2つの調査結果が、それらの詳細を埋めるうえで役立つ。 とりわけ、各種ベンダーが分析マーケットで、足場を確保するために対価を積み上げている理由が分かる。

 

image2497

September 17, 2010
Apache Hadoop の ベスト・プラクティスとアンチ・パターン
Apache Hadoop は、大規模スケール/共有ストレージ/コンピューティング・インフラストラクチャを構築するためのソフトウェア・フレームワークである。 Hadoop クラスタは、多様な R&D プロジェクトにおいて利用され、また、 Yahoo!/eBay/Facebook/LinkedIn/Twitter や各種産業における実運用環境において、その実績を増大させている。

 

image24611

September 16, 2010
Teradata と Cloudera が Hadoop で提携!
この水曜日(9/15)に Teradata と Cloudera は、Hadoop のパワーを用いたエンタープライズにおける分析と、データ・ウエアハウジングのプロジェクトにおいて、協調していく計画があると発表した。

 

image24311

September 6, 2010
Avro による分散システムのトレース
Cloudera サマー・インターシップ・プロジェクトでは、Apache Avro の一番の特徴として、RPC トレーシングを加えた。 Avro とは、データ・セントリックでダイナミックなアプリケーション要件を充たす、データのストレージとエクスチェンジのためのプラットフォームのことである。

 

image2406

August 24, 2010
Dryad が DAG をつかう理由
私たちが Dryad に適用することに決めた基本的な計算モデルは、DAG(directed-acyclic graph:有向非巡回グラフ)である。 このグラフにおける個々のノードで計算が行われ、また、グラフにおける個々のエッジが、その方向をデータを送り出すストリームとなる。

 

image2376

August 17, 2010
Hadoop Source Code Reading – 4th – ダダ漏れ Twitter
筑波大 M1 で分散ファイルシステムを研究対象にしてるとな ーーー シリアライズの実装を簡単・確実にするライブラリで、高速かつコンパクトと言えば。MessagePack ーーー HDFSは0.21でセキュリティ(Krberos)が入ってるから0.20からソースが変わってしまってる。

 

image2341

August 9, 2010
Big Data と LAMP Stack
数多くのFortune 500 と中型のエンタープライズが、Big Data を分析するための、Hadoop Test/Dev プロジェクトに資金を投じているが、その標準的なエンタープライズ・アーキテクチャの中に Hadoop を統合する方式には疑問が残る。

 

image23111

August 6, 2010
Hadoop World NYC – 今年の目玉は?
今年の Hadoop World NYC ですが、10月 12日の One Day カンファレンスとのことです。 場所は、Hilton New York で、Early Bird の $195 は 8月 11日(15日とも書いてある?)までのようです。
今年の主な新顔:Twitter、Bank of America、AOL
去年はいたけど: Amazon、IBM、JPMorgan、VISA
去年も今年も: Facebook、Yahoo、eBay

 

image22510

August 4, 2010
Hadoop Hack Night – 2nd – ダダ漏れ Twitter
みんな楽しそうだなぁ ・・・ と 恨めしげに今日も仕事の Agile_Cat は、ハッシュタグも Ust もチックしたいなかったのですが、Twitter の、いわゆるお仲間 List を眺めてみれば、何だ、みんな居るんじゃんということで、ダダ漏れ Twitter を作ってみました。

 

image22510[4]

July 26, 2010
Hadoop モデリング座談会 – Twitter Live 速報 
Hadoop座談会始まった。まずは @shot6 さん。NoSQL な話、本当の使い勝手をベースに ーーー  組み合わせについて、RDB+NoSQL まずはデータ特性を見た上で、ACIDで保護する必要性を見極めること ーーー CQRSパターンとかそれっぽい ーーー  HBaseは一貫性重視、Casandraは可用性重視

 

image2157

June 20, 2010
HDFS のスケーラビリティを考察する
ホルヘ・ルイス・ボルヘス (Jorge Luis Borges) の作である「バベルの図書館」では、410ページの本として共通のフォーマットを持つ書籍で構成された、巨大なストレージの世界を表現している。そして、その 大部分が、無意味なシンボルの羅列となる。 しかし、残りの部分は完全で破壊されることのない知識システムを形成し、過去に記述され将来に記述されるあらゆるテキストをストアする。

Comments are closed.
%d bloggers like this: