スポンサーリンク
emacs

dockerfile-modeでDockerfileを書く

Dockerfileを書いていて、emacsでdocker用のmodeがあるかなと探していたら、以下にdockerfile-modeという名前でmodeを公開してくれている方がいたので使用してみたところ、シンプルで使いやすかったのでしばらく...
fluentd

fluentd multiprocessプラグインを使う

fluentdでマルチコアのサーバーリソースを生かすため、fluentdのmultiprocessプラグインを導入することにした。multiprocessプラグインについては、以下の公式ドキュメントに書かれているとおりに設定すれば、無事複数...
capistrano

Capistrano3での外部入力値の引き渡し

rubyの経験は浅いのだけど、アプリケーションのデプロイにcapistrano(>= 3、デプロイ自動化ツール)を使うようにした。ちなみに以前のバージョン2は使ったことはない。。 タスクを管理する時に、タスクの外部から値を渡すに...
hadoop

Sqoop1.x Import Process

RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。 Sqoop run process sqoopコマンドを実行すると、hadoopコマンドをorg.apa...
fluentd

BufferedOutput of Fluentd

fluentdのBufferedOutputについて理解が浅かった。。 fluentdでアプリケーションサーバーからのログを集約するAggregatorノードの設定をメモリ容量をもとに見直していたところ,出力先に何らかの障害が発生し出...
hadoop

Impala queries in Hue remain to be "in flight".

単純なログ検索しか行なっていないけれど,HueからImpalaクエリを実行して爆速!と喜んでいたのだが,クエリがCMのActivityMonitorではRUNNINGのまま,Impala Query UIでもXX queries in fl...
hadoop

Impalaのmetadataの更新

fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。 Impala1.2.Xで,Impalad,Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役...
hadoop

Hue/Hiveにてデフォルトでクラスパスに追加されるjarを設定する

Cloudera Managerを使ってHueをインストールして,SerDeありのテーブルを作成した際にMetastore Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。 Hive CLIでテー...
hadoop

DataNodeで大量のINFOレベルメッセージが・・・

パッケージでインストールしていたCDH4.4から,新たにCloudera Manager Standard(以下CM)管理のクラスタ(CDH4.5)に切り替え,以前同様fluentdのwebhdfsプラグインからHDFSヘログをappend...
hadoop

Cloudera Manager + fluentd webhdfsのイベントで報告されるFileNotFoundExceptionを除外する

Cloudera Manager Standard(以下CM)で環境構築中。  CMでは,CMの管理画面上で各種サービスの設定を管理できるようになっているが,主要な設定以外の任意の設定を追加したい場合,安全バルブというフックを利用する...
wordpress

WordPress XMLRPC投稿でカテゴリー作成

WordPressでXMLRPC投稿時にカテゴリーを自動で設定したいという相談がありちょっと調べてみた。 WordPressでカテゴリー作成するには,通常管理画面から行なうことになるが,php内からももちろん作成が可能である。以下のA...
スポンサーリンク
Translate »
タイトルとURLをコピーしました