スポンサーリンク
java

How lombok works

アノテーションさえ十分に使いこなせていないが、、javaのlombokライブラリについて調べる機会があったので自分なりにまとめてみる。 lombokは、AST変換というマジックを使ってコンパイラの変換プロセスの中で生成されたAST(抽象構文...
0
日記

多摩センター イルミネーション

パルテノン神殿
0
日記

今年も手帳選びの時がやってきた

この季節になると文具コーナーが来年のスケジュール帳や日記帳などで溢れかえっており、色々な手帳を眺めているだけで楽しくなってしまいます。  これだけIT技術が進化して便利になっても、大した内容が書かれている訳ではないのですが、手帳だけはいつも...
0
日記

自前なた豆茶

昔から鼻炎で、いつも鼻づまりで悩まされてきました。特に、花粉の季節になると、口呼吸しかできなくなるほどの重度のアレルギー性鼻炎。耳鼻科で処方される薬を飲んでも気持ちましになる程度。そんな私の悩みを知って心配してくれる実家の両親や親戚から、『...
0
emacs

dockerfile-modeでDockerfileを書く

Dockerfileを書いていて、emacsでdocker用のmodeがあるかなと探していたら、以下にdockerfile-modeという名前でmodeを公開してくれている方がいたので使用してみたところ、シンプルで使いやすかったのでしばらく...
0
fluentd

fluentd multiprocessプラグインを使う

fluentdでマルチコアのサーバーリソースを生かすため、fluentdのmultiprocessプラグインを導入することにした。multiprocessプラグインについては、以下の公式ドキュメントに書かれているとおりに設定すれば、無事複数...
0
capistrano

Capistrano3での外部入力値の引き渡し

rubyの経験は浅いのだけど、アプリケーションのデプロイにcapistrano(>= 3、デプロイ自動化ツール)を使うようにした。ちなみに以前のバージョン2は使ったことはない。。 タスクを管理する時に、タスクの外部から値を渡すにはaskとい...
0
hadoop

Sqoop1.x Import Process

RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。 Sqoop run process sqoopコマンドを実行すると、hadoopコマンドをorg.apache.sq...
0
fluentd

BufferedOutput of Fluentd

fluentdのBufferedOutputについて理解が浅かった。。 fluentdでアプリケーションサーバーからのログを集約するAggregatorノードの設定をメモリ容量をもとに見直していたところ,出力先に何らかの障害が発生し出力不可...
0
hadoop

Impala queries in Hue remain to be "in flight".

単純なログ検索しか行なっていないけれど,HueからImpalaクエリを実行して爆速!と喜んでいたのだが,クエリがCMのActivityMonitorではRUNNINGのまま,Impala Query UIでもXX queries in fl...
0
hadoop

Impalaのmetadataの更新

fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。 Impala1.2.Xで,Impalad,Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割につ...
0
hadoop

Hue/Hiveにてデフォルトでクラスパスに追加されるjarを設定する

Cloudera Managerを使ってHueをインストールして,SerDeありのテーブルを作成した際にMetastore Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。 Hive CLIでテーブルを...
0
hadoop

DataNodeで大量のINFOレベルメッセージが・・・

パッケージでインストールしていたCDH4.4から,新たにCloudera Manager Standard(以下CM)管理のクラスタ(CDH4.5)に切り替え,以前同様fluentdのwebhdfsプラグインからHDFSヘログをappend...
0
hadoop

Cloudera Manager + fluentd webhdfsのイベントで報告されるFileNotFoundExceptionを除外する

Cloudera Manager Standard(以下CM)で環境構築中。 CMでは,CMの管理画面上で各種サービスの設定を管理できるようになっているが,主要な設定以外の任意の設定を追加したい場合,安全バルブというフックを利用することで可...
0
スポンサーリンク