fluentdでrailsなどのアプリケーションのログをtailする
fluentdでは、v0.10.45から複数行にまたがるログをparseするための機能 multiline parser が実装されているよ...
fluentdのin_tailプラグインの動作について理解する
fluentdは、ログ収集ツールで人気のソフトウェアとして広く知られており、私も以前から大変お世話になっているOSSのひとつです。ログファイ...
WordPressのfootnotesプラグインで脚注をつける
Wikipediaみたいに文章に脚注をつけたいなと思いプラグインを探していたら、footnotesというプラグインがあったので早速インストー...
H28秋期で最後となる情報セキュリティスペシャリスト(SC)試験を受験してきた
平成28年度秋期10月16日(日)、IPA情報処理技術者試験の情報セキュリティスペシャリスト（SC）試験を受験してきました。IPAか...
トミカのクレーンゲーム
トミカのクレーンゲーム。 とれそうでとれない、なかなか難しい。。 コツは、透明のアクリルでなくトミカのボックスだけを上手にクレーンで拾い...
Javaで作成した一時ファイルを終了時に削除する
Javaのjava.nio.file.Filesで作った一時ファイルをプログラム終了時に削除するのにFilesクラスにそれ用のAPIがあるか...
Use commons-dbutils with hive-jdbc
hive-jdbcと一緒にcommons-dbutilsを使う場合。 環境 commons-dbutils 1.6 hiv...
Suppress the message “Supplied authorities: …” org.apache.hive.jdbc.Utils#parseURL emits
HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Supplied authorities: ..."のようなメッセ...
レンタルサーバーお引越し
WordPressで運用しているあるサイトを、さくらレンタルサーバー（スタンダードプラン）からXSERVER（X10プラン）へ引越しすること...
Sqoop import failed because of error “Make sure HIVE_CONF_DIR is set correctly”
Sqoop Import failed after CDH upgrading Hadoop環境をCDH5.3.xから5.7.xへアップグ...
Parse error can be caused due to NUL character included in records with Sqoop
Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列...
Install Cloudera Manager with Ansible
Cloudera Managerを使って本番用のHadoopクラスタ環境を構築して運用している。アップデート時など調査・検証のためテスト環境...
AnsibleのplaybookをVagrantでテストする
AnsibleのplaybookをテストをするのにVagrantで構築した仮想マシンを使っている。VagrantではProvisionerと...
JNIメモ１
Impalaという分散クエリエンジンを使っていてImpaladが突然JVMのSIGSEGVで異常終了してしまうことがありソースを追いかけてい...
Mark up articles with structured data
最近Wordpressのテーマを久しぶりに書いてみたのですが、Googleウェブマスターツールで構造化データのErrorやWarningが検...