なか日記

一度きりの人生、楽しく生きよう。

トップ > 勉強会 > 第１回Hadoop関西勉強会に参加

第１回Hadoop関西勉強会に参加

勉強会

id:youandiが来阪されるということで参加してきた*1。

勉強会のきちんとしたレポは他の方まとめられているのでこちらからどうぞ。

第１回Hadoop関西勉強会
http://atnd.org/events/6153

  • 日時：2010/7/31(土) 18:00〜
  • 会場：株式会社ロックオン 会議室 （大阪府大阪市北区梅田2-4-9 ブリーゼタワー13F）

以下、自分メモ*2。
予備知識ほぼゼロ。Hadoopって何それ？美味しいの？状態で臨んだので、誤解してるところもありそう…

玉川さん（@tamagawa_ryuji）

オープンソースのMapReduce/分散ストレージ実装、Hadoopの紹介

オライリーの翻訳されてるらしい。
Hadoopの概要ということで、何とか置いてけぼりにはならなかった。

  • スケールアップよりスケールアウト
    • スケーラビリティのネックは特に（Diskの）I/O
  • Hadoopに向いてるのはログ解析のような処理
    • 単純な処理
    • 膨大なデータ
  • マスタノード
    • ジョブトラッカー
    • ネームノード
  • スレーブノード
    • データノード
    • タスクトラッカー
    • タスク×ｎ
      プログラマはタスクのみ書けば良い
  • MapReduce
    • Map
    • Reduce
  • HDFS
  • 優先して考えること
    1. ネットワーク帯域
    2. Disk
  • 使ってみたい人

山下さん（@karate405）

Hadoop上のデータを用いるBIシステムについて

濱野さん(ToDo.ne.jp: 濱野 賢一朗のページ)

Hadoop環境の自動構築の話 （Puppet＋Kickstart＋α）
  • データの活用
    • 今まで捨ててたデータもとりあえず貯めとけ
      • 使い方は後から考える
  • スレーブノードの故障
    • サーバを差し替えるだけで自動構築、環境設定を行う仕組み
      • 一足先にAdobeがそれに近い物を公開したらしい

すっかり置いてけぼりでしたｗ

杉田さん

いったいなんぼならHadoopできるねん？

100万あればそれなりの環境は作れそう。
でも、個人じゃムリですねｗ

  • Hadoopの推奨構成
    • CPU1コアにつき、HDD1台、メモリ2GB

大谷さん（@shot6）

Hadoopソースコードリーディングの会の紹介

懇親会

わんくまのにしか行ったことなかったけど、雰囲気がだいぶ違った気がします。
名刺交換が始まるも、会社名刺を交換し合ってる様子…自分はこの前作った残念なアイコンの個人名刺しか持ってなかったので、静観…
若いのにものすごくインフラに詳しい＆いろんな会社と付き合いがありそうな方がいて、懇親会の後半は濱野さんと杉田さんとその方3人の話を興味深く聞かせてもらいました。
懇親会終了間際にその方から名刺を頂いたら、さくらインターネット社長の田中さんでした。名古屋でイケメン伯爵（id:bleis-tift）にお会いした時以来の衝撃でしたね。
帰りはたかさんと一緒に阪急までご一緒させてもらいました。帰り道が怪しかったので助かりましたｗ

振り返り

懇親会で話せるだけのネタが欲しいと感じた一日。

Keep
  • 勉強会に参加する
Problem
  • 基礎知識がなかったので、後半は置いてけぼりに…
  • 会社の名刺を持って行ってなかった
  • 人見知り全開すぎｗ
Try
  • もっと話す（質問でいいから…）

*1:理由があれなのは気にしないｗ

*2:自分用とかって書くのは逃げかしら？