2015/04/06

2015/03/23

パーマリンク 11:34:00, 著者: Charlie

スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech @ Speaker Deck

Azkabanというのが出てくる。Azkabanを使って依存関係のあるジョブの管理を行う(インストール編) @ SIOS ビッグデータ技術ブログによると、

Azkabanとは、バッチ処理のワークフローをWeb UIでスケジュール管理可能にしたシンプルなツールです。 依存関係のあるJobのフローを管理したり、それらのJobのリトライやエラー通知、実行ログの表示などを標準で提供しています。 元々、Hadoopを対象としたツールのため、HiveやPigへの処理を一連のジョブの中に組み込むことができます。 また、シェルの起動も行えるため、tdコマンドをシェルとして組み込むことで、TreasureData上の処理のワークフロー管理にも利用できます(それがしたいので触っています!)。
とのこと。


閑話だがネタ元サイトのURLがユニークだ。
「スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech」

「sumatoniyusufalseshi-jie-jin-chu-wozhi-erurogujie-xi-ji-pan-number-jawsdays-number-tech」
になるってのは文字単位でアルファベットにマッピングしているのかな。漢字はピンインへの変換ですね。

  • 「の」→「false」
  • 「世界進出」→「shi-jie-jin-chu」
  • 「支える」→「zhi-eru」
Tags: azkaban, hive

2015/03/02

パーマリンク 11:26:00, 著者: Charlie

Hadoop周辺の最新技術動向

分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講演資料) from NTT DATA OSS Professional Services @ slideshare
Tags: hadoop

2014/09/15

2014/09/09

2014/08/24

2014/08/05

2014/07/28

2014/07/26

<< 1 2 3 4 5 6 7 8 9 10 11 ... 72 >>