2015/03/23

パーマリンク 11:34:00, 著者: Charlie

スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech @ Speaker Deck

Azkabanというのが出てくる。Azkabanを使って依存関係のあるジョブの管理を行う(インストール編) @ SIOS ビッグデータ技術ブログによると、

Azkabanとは、バッチ処理のワークフローをWeb UIでスケジュール管理可能にしたシンプルなツールです。 依存関係のあるJobのフローを管理したり、それらのJobのリトライやエラー通知、実行ログの表示などを標準で提供しています。 元々、Hadoopを対象としたツールのため、HiveやPigへの処理を一連のジョブの中に組み込むことができます。 また、シェルの起動も行えるため、tdコマンドをシェルとして組み込むことで、TreasureData上の処理のワークフロー管理にも利用できます(それがしたいので触っています!)。
とのこと。


閑話だがネタ元サイトのURLがユニークだ。
「スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech」

「sumatoniyusufalseshi-jie-jin-chu-wozhi-erurogujie-xi-ji-pan-number-jawsdays-number-tech」
になるってのは文字単位でアルファベットにマッピングしているのかな。漢字はピンインへの変換ですね。

  • 「の」→「false」
  • 「世界進出」→「shi-jie-jin-chu」
  • 「支える」→「zhi-eru」
Tags: azkaban, hive

この記事へのトラックバック アドレス

Trackback URL (right click and copy shortcut/link location)

フィードバックはまだありません...

コメントを残す


Your email address will not be revealed on this site.
(改行が自動で <br /> になります)
(For my next comment on this site)
(Allow users to contact me through a message form -- Your email will not be revealed!)