Hadoopの最近のブログ記事

Coming on Stream その5

Takuya UESHIN (2010年9月11日 19:57) | コメント(0) | トラックバック(0)
Coming on Streamシリーズ ファーストシーズン最終回。
その1
その2
その3
その4

最終回として、今回もろもろ利用したScala的な何かについてつらつらと書きます。

今回利用するプログラムも、

$ svn checkout https://happy-camper.st/svn/hadoop/tags/hbase-twitter-0.0.2 hbase-twitter

を利用します。

また http://hadoop.happy-camper.st/browser/tags/hbase-twitter-0.0.2でブラウズできます。

続きを読む: Coming on Stream その5

Coming on Stream その4

Takuya UESHIN (2010年9月11日 16:03) | コメント(0) | トラックバック(1)
Coming on Streamシリーズもおおづめ。
その1
その2
その3

作ったものについて、は今回で終りになります。

今回利用するプログラムも、

$ svn checkout https://happy-camper.st/svn/hadoop/tags/hbase-twitter-0.0.2 hbase-twitter

を利用します。

また http://hadoop.happy-camper.st/browser/tags/hbase-twitter-0.0.2でブラウズできます。

続きを読む: Coming on Stream その4

Coming on Stream その3

Takuya UESHIN (2010年9月 9日 22:27) | コメント(0) | トラックバック(2)
Coming on Streamシリーズやってます。
その1
その2

前２回で、NoSQL会@博多編を終わりまして、今回はその後に何をしたのか、をまとめていきます。

今回からバージョンをすすめまして、

$ svn checkout https://happy-camper.st/svn/hadoop/tags/hbase-twitter-0.0.2 hbase-twitter

を利用します。

また http://hadoop.happy-camper.st/browser/tags/hbase-twitter-0.0.2でブラウズできます。

続きを読む: Coming on Stream その3

Coming on Stream その2

Takuya UESHIN (2010年9月 7日 22:13) | コメント(0) | トラックバック(3)
昨日の続き。

NoSQL会@博多でお見せしたかったMapReduceによる集計が3つほどありました。

  • 言語（user:lang）で集計
  • ソース（status#source）で集計
  • ハッシュタグ（status#textから抽出）で集計

昨日からデータが溜まってきていることでしょうから、ぜひ集計を実行してみてください。

今回利用するプログラムも、

$ svn checkout https://happy-camper.st/svn/hadoop/tags/hbase-twitter-0.0.1 hbase-twitter

で利用できます。

また http://hadoop.happy-camper.st/browser/tags/hbase-twitter-0.0.1でブラウズできます。

続きを読む: Coming on Stream その2

Coming on Stream その1

Takuya UESHIN (2010年9月 6日 22:42) | コメント(0) | トラックバック(4)
TwitterのStreaming APIを使ってツイートを収集し、様々な解析をする（したい）ためのプログラムを開発しています。
元々は7月にNoSQL会@博多でHBaseについて発表した際のサンプルだったのですが、そのまま引き続き開発を続けています。

最近になってプロジェクト名を「Coming on Stream」に決めました。

下記で参照できるプログラムの動作環境は

  • Hadoop: 0.20.2
  • HBase: 0.20.5
  • Scala: 2.8.0

を利用していますが、HBaseは0.20.6でも動作すると思います。

$ svn checkout https://happy-camper.st/svn/hadoop/tags/hbase-twitter-0.0.1 hbase-twitter

で利用できます。

また http://hadoop.happy-camper.st/browser/tags/hbase-twitter-0.0.1でブラウズできます。

続きを読む: Coming on Stream その1

擬似分散モードの動作確認

Takuya UESHIN (2010年5月20日 19:48) | コメント(0) | トラックバック(0)
先日セットアップした擬似分散モードの動作確認を行います。

テストに使うサンプルはいつものやつと、そのScala版、Pig版です。

  • Hadoop: 0.20.2
  • Pig: 0.6.0
  • Scala: 2.8.0.Beta1

を利用します。
それぞれインストールが完了していて、Hadoopは擬似分散モードの準備が出来ているものとします。

続きを読む: 擬似分散モードの動作確認

Hadoop on MacOSX

Takuya UESHIN (2010年5月17日 19:46) | コメント(0) | トラックバック(2)
MacOSXにHadoopを擬似分散モードで動作できるようにインストールした時の記録です。

利用した環境は次の通りです。

  • MacOSX Snow Leopard
  • Hadoop 0.20.2

また、参考にしたページは次のページです。

このページにはHBaseのインストールまで記載されていますが、まだそこまでやっていないので、機会があればということで。

続きを読む: Hadoop on MacOSX

Pig Latin / UDF in Scala

Takuya UESHIN (2010年5月 3日 22:41) | コメント(0) | トラックバック(1)
Pigという、Hadoopをお手軽に使いましょうツールを使ってみました。
また、 Scala によるユーザー定義関数(UDF)の記述、組み込みをしてみました。

題材はいつもと同じです。

  • Pig: 0.6.0
  • Scala: 2.8.0.Beta1

を利用しています。

$ svn checkout https://happy-camper.st/svn/hadoop/tags/pig-scala-aggregate-0.6.1 pig-scala-aggregate

で利用できます。

また http://hadoop.happy-camper.st/browser/tags/pig-scala-aggregate-0.6.1 でブラウズできます。

続きを読む: Pig Latin / UDF in Scala

MapReduce in Scala

Takuya UESHIN (2010年4月23日 21:15) | コメント(0) | トラックバック(1)
目下勉強中のScala という言語を使って、MapReduceを実装してみました。

題材は前回のものと同じです。

  • Hadoop: 0.20.2
  • Scala: 2.8.0.Beta1

を利用しています。

$ svn checkout https://happy-camper.st/svn/hadoop/tags/hadoop-scala-aggregate-0.20.1 hadoop-scala-aggregate

で利用できます。

また http://hadoop.happy-camper.st/browser/tags/hadoop-scala-aggregate-0.20.1 でブラウズできます。

続きを読む: MapReduce in Scala

hadoop-core-0.20.2で

Takuya UESHIN (2010年4月22日 23:26) | コメント(0) | トラックバック(4)
１年以上のご無沙汰でした。
お久しぶりです。

さすがにこれだけ期間が開くとHadoopのバージョンも0.20.2が最新となっています。(2010/04/22現在)

そこで、以前実装したhadoop-aggregate-0.0.2を元に、hadoop-core-0.20.2の最新APIに更新してみようと思います。

以前と同じように、

$ svn checkout https://happy-camper.st/svn/hadoop/tags/hadoop-aggregate-0.20.1 hadoop-aggregate

で利用できます。

また http://hadoop.happy-camper.st/browser/tags/hadoop-aggregate-0.20.1 でブラウズできます。

続きを読む: hadoop-core-0.20.2で
« Guice | メインページ | アーカイブ | HBase »

Twitter Icon

Twitter Icon
by Twitter Backgrounds

あわせて読みたい

あわせて読みたいブログパーツ

AdSense

フィードメーター

フィードメーター - Happy-Camper Street

トラックフィード

track feed trackfeed

Webスカウター

スカウター : Happy-Camper Street
Creative Commons License
このブログはクリエイティブ・コモンズでライセンスされています。
Powered by Movable Type 4.2-ja