hadoop Impalaのmetadataの更新
fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。 Impala1.2.Xで，Impalad，Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割につ...
2014.01.16
0
0
hadoop
IT
hadoop 
hadoop Hue/Hiveにてデフォルトでクラスパスに追加されるjarを設定する
Cloudera Managerを使ってHueをインストールして，SerDeありのテーブルを作成した際にMetastore Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。 Hive CLIでテーブルを...
2014.01.08
0
0
hadoop
hadoop DataNodeで大量のINFOレベルメッセージが・・・
パッケージでインストールしていたCDH4.4から，新たにCloudera Manager Standard（以下CM）管理のクラスタ（CDH4.5）に切り替え，以前同様fluentdのwebhdfsプラグインからHDFSヘログをappend...
2013.12.15
0
0
hadoop
hadoop Cloudera Manager + fluentd webhdfsのイベントで報告されるFileNotFoundExceptionを除外する
Cloudera Manager Standard（以下CM）で環境構築中。 CMでは，CMの管理画面上で各種サービスの設定を管理できるようになっているが，主要な設定以外の任意の設定を追加したい場合，安全バルブというフックを利用することで可...
2013.12.14
0
0
hadoop
wordpress WordPress XMLRPC投稿でカテゴリー作成
WordPressでXMLRPC投稿時にカテゴリーを自動で設定したいという相談がありちょっと調べてみた。 WordPressでカテゴリー作成するには，通常管理画面から行なうことになるが，php内からももちろん作成が可能である。以下のAPIが...
2013.02.11
0
0
wordpress