hadoop Sqoop1.x Import Process
RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。Sqoop run process sqoopコマンドを実行すると、hadoopコマンドをorg.apache.sqo...
2014.07.19
2016.12.03
0
0
hadoop
IT
hadoop 
fluentd BufferedOutput of Fluentd
fluentdのBufferedOutputについて理解が浅かった。。fluentdでアプリケーションサーバーからのログを集約するAggregatorノードの設定をメモリ容量をもとに見直していたところ，出力先に何らかの障害が発生し出力不可に...
2014.05.08
2022.02.26
0
0
fluentd
hadoop Impala queries in Hue remain to be "in flight".
単純なログ検索しか行なっていないけれど，HueからImpalaクエリを実行して爆速！と喜んでいたのだが，クエリがCMのActivityMonitorではRUNNINGのまま，Impala Query UIでもXX queries in fl...
2014.02.01
2022.02.26
0
0
hadoop
hadoop Impalaのmetadataの更新
fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。Impala1.2.Xで，Impalad，Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割につい...
2014.01.16
2016.12.03
0
0
hadoop
hadoop Hue/Hiveにてデフォルトでクラスパスに追加されるjarを設定する
Cloudera Managerを使ってHueをインストールして，SerDeありのテーブルを作成した際にMetastore Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。Hive CLIでテーブルを作...
2014.01.08
2016.12.03
0
0
hadoop
hadoop DataNodeで大量のINFOレベルメッセージが・・・
パッケージでインストールしていたCDH4.4から，新たにCloudera Manager Standard（以下CM）管理のクラスタ（CDH4.5）に切り替え，以前同様fluentdのwebhdfsプラグインからHDFSヘログをappend...
2013.12.15
2016.12.03
0
0
hadoop
hadoop Cloudera Manager + fluentd webhdfsのイベントで報告されるFileNotFoundExceptionを除外する
Cloudera Manager Standard（以下CM）で環境構築中。CMでは，CMの管理画面上で各種サービスの設定を管理できるようになっているが，主要な設定以外の任意の設定を追加したい場合，安全バルブというフックを利用することで可能...
2013.12.14
2022.02.26
0
0
hadoop
wordpress WordPress XMLRPC投稿でカテゴリー作成
WordPressでXMLRPC投稿時にカテゴリーを自動で設定したいという相談がありちょっと調べてみた。WordPressでカテゴリー作成するには，通常管理画面から行なうことになるが，php内からももちろん作成が可能である。以下のAPIがw...
2013.02.11
2016.12.03
0
0
wordpress