hadoop Using UDF’s jar of Hive with Impala
I tried to use UDF's jar of Hive with Impala, but ClassCastException has been thrown. I created a function reflect(strin...
2015.11.13
0
0
hadoop
IT
hadoop 
ruby rufus-scheduler looks good
rufus-scheduler，ジョブのスケジューリングをシンプルに行える。 類似のところでwheneverというgemがあるが，そちらではcronで実行するジョブをわかりやすいrubyシンタックスで記述できcronに反映させるが，rufu...
2015.07.12
0
0
ruby
hadoop Create file /tmp/impala-scratch/…. with errno=2 description=Error(2): No such file or directory
impalaでクエリを実行すると，以下のようなエラーが出ることがある。 クエリはエラーになる。 以下のcommunityサイトで質問されている方がいた。 community.cloudera.com impala2.0からサポートされている...
2015.06.03
0
0
hadoop
hadoop Get corrupt file blocks returned error: Operation category READ is not supported in state standby
Cloudera ManagerでNameNode HAしてから，以下のWARNメッセージがStandbyNameNodeのログに定期的に出力される。結構な頻度で書き込まれ，また診断のログの方にも上がってくるので何とか抑制したい。 このJI...
2015.05.16
0
0
hadoop
hadoop Hive Auto Convert Join
これか！？ CDHのバージョンを4.7から5.3.2に上げたときに，Hiveも0.13.1に上がり，オプションのデフォルト値が変わっていたのを見落としていた。。 joinの最適化に関連するオプションのようで，以下の値がデフォルトでtrueに...
2015.04.22
0
0
hadoop
hadoop Run query on HiveServer2 by thrift
RBHiveクライアントを使ってHiveServer2経由でクエリを実行しようとしたところ，上手くいかずハマってしまった。 以下のようなコードを実行しようとしたところ，エラーで実行できない。 HiveServer2でのエラーは以下。 RBH...
2015.03.26
0
0
hadoop
hadoop Upgrade Hue from 2.5 to 3.7 on upgrade CDH to 5
Cloudera Manager4から5へアップデートし，CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので，とても簡単に移行できる。 rdbms Hue...
2015.03.16
0
0
hadoop
confluence Confluence XML-RPC
あるwikiデータをConfluenceに突っ込み直すことがあり、ある程度ページ操作だったり自動でできないかなとドキュメントを見ると、REST、XMLRPC、SOAPがサポートされているようだった。 今回はrubyでconfluence-...
2014.12.22
0
0
confluence
java How lombok works
アノテーションさえ十分に使いこなせていないが、、javaのlombokライブラリについて調べる機会があったので自分なりにまとめてみる。 lombokは、AST変換というマジックを使ってコンパイラの変換プロセスの中で生成されたAST（抽象構文...
2014.12.16
0
0
java
emacs dockerfile-modeでDockerfileを書く
Dockerfileを書いていて、emacsでdocker用のmodeがあるかなと探していたら、以下にdockerfile-modeという名前でmodeを公開してくれている方がいたので使用してみたところ、シンプルで使いやすかったのでしばらく...
2014.10.02
0
0
emacs
fluentd fluentd multiprocessプラグインを使う
fluentdでマルチコアのサーバーリソースを生かすため、fluentdのmultiprocessプラグインを導入することにした。multiprocessプラグインについては、以下の公式ドキュメントに書かれているとおりに設定すれば、無事複数...
2014.08.03
0
0
fluentd
capistrano Capistrano3での外部入力値の引き渡し
rubyの経験は浅いのだけど、アプリケーションのデプロイにcapistrano（>= 3、デプロイ自動化ツール）を使うようにした。ちなみに以前のバージョン２は使ったことはない。。 タスクを管理する時に、タスクの外部から値を渡すにはaskとい...
2014.07.29
0
0
capistrano
hadoop Sqoop1.x Import Process
RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。 Sqoop run process sqoopコマンドを実行すると、hadoopコマンドをorg.apache.sq...
2014.07.19
0
0
hadoop
fluentd BufferedOutput of Fluentd
fluentdのBufferedOutputについて理解が浅かった。。 fluentdでアプリケーションサーバーからのログを集約するAggregatorノードの設定をメモリ容量をもとに見直していたところ，出力先に何らかの障害が発生し出力不可...
2014.05.08
0
0
fluentd