日記 自前なた豆茶
昔から鼻炎で、いつも鼻づまりで悩まされてきました。特に、花粉の季節になると、口呼吸しかできなくなるほどの重度のアレルギー性鼻炎。耳鼻科で処方される薬を飲んでも気持ちましになる程度。そんな私の悩みを知って心配してくれる実家の両親や親戚から、『...
2014.11.14
0
0
日記
日記 
emacs dockerfile-modeでDockerfileを書く
Dockerfileを書いていて、emacsでdocker用のmodeがあるかなと探していたら、以下にdockerfile-modeという名前でmodeを公開してくれている方がいたので使用してみたところ、シンプルで使いやすかったのでしばらく...
2014.10.02
0
0
emacs
fluentd fluentd multiprocessプラグインを使う
fluentdでマルチコアのサーバーリソースを生かすため、fluentdのmultiprocessプラグインを導入することにした。multiprocessプラグインについては、以下の公式ドキュメントに書かれているとおりに設定すれば、無事複数...
2014.08.03
0
0
fluentd
capistrano Capistrano3での外部入力値の引き渡し
rubyの経験は浅いのだけど、アプリケーションのデプロイにcapistrano（>= 3、デプロイ自動化ツール）を使うようにした。ちなみに以前のバージョン２は使ったことはない。。 タスクを管理する時に、タスクの外部から値を渡すにはaskとい...
2014.07.29
0
0
capistrano
hadoop Sqoop1.x Import Process
RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。 Sqoop run process sqoopコマンドを実行すると、hadoopコマンドをorg.apache.sq...
2014.07.19
0
0
hadoop
fluentd BufferedOutput of Fluentd
fluentdのBufferedOutputについて理解が浅かった。。 fluentdでアプリケーションサーバーからのログを集約するAggregatorノードの設定をメモリ容量をもとに見直していたところ，出力先に何らかの障害が発生し出力不可...
2014.05.08
0
0
fluentd
hadoop Impala queries in Hue remain to be "in flight".
単純なログ検索しか行なっていないけれど，HueからImpalaクエリを実行して爆速！と喜んでいたのだが，クエリがCMのActivityMonitorではRUNNINGのまま，Impala Query UIでもXX queries in fl...
2014.02.01
0
0
hadoop
hadoop Impalaのmetadataの更新
fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。 Impala1.2.Xで，Impalad，Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割につ...
2014.01.16
0
0
hadoop
hadoop Hue/Hiveにてデフォルトでクラスパスに追加されるjarを設定する
Cloudera Managerを使ってHueをインストールして，SerDeありのテーブルを作成した際にMetastore Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。 Hive CLIでテーブルを...
2014.01.08
0
0
hadoop
hadoop DataNodeで大量のINFOレベルメッセージが・・・
パッケージでインストールしていたCDH4.4から，新たにCloudera Manager Standard（以下CM）管理のクラスタ（CDH4.5）に切り替え，以前同様fluentdのwebhdfsプラグインからHDFSヘログをappend...
2013.12.15
0
0
hadoop
hadoop Cloudera Manager + fluentd webhdfsのイベントで報告されるFileNotFoundExceptionを除外する
Cloudera Manager Standard（以下CM）で環境構築中。 CMでは，CMの管理画面上で各種サービスの設定を管理できるようになっているが，主要な設定以外の任意の設定を追加したい場合，安全バルブというフックを利用することで可...
2013.12.14
0
0
hadoop
wordpress WordPress XMLRPC投稿でカテゴリー作成
WordPressでXMLRPC投稿時にカテゴリーを自動で設定したいという相談がありちょっと調べてみた。 WordPressでカテゴリー作成するには，通常管理画面から行なうことになるが，php内からももちろん作成が可能である。以下のAPIが...
2013.02.11
0
0
wordpress