hadoop

スポンサーリンク
hadoop

Use commons-dbutils with hive-jdbc

hive-jdbcと一緒にcommons-dbutilsを使う場合。 環境 commons-dbutils 1.6 hive-jdbc-1.1.0-cdh5.7.1 DbUtilsでgetParameterMetaDataの呼び出しをスキッ...
0
hadoop

Suppress the message “Supplied authorities: …” org.apache.hive.jdbc.Utils#parseURL emits

HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Supplied authorities: ..."のようなメッセージが出力されます。hive-jdbcの依存するライブラリはcommons-logging、Log4...
0
hadoop

Sqoop import failed because of error “Make sure HIVE_CONF_DIR is set correctly”

Sqoop Import failed after CDH upgrading Hadoop環境をCDH5.3.xから5.7.xへアップグレードするとsqoopは1.4.5から1.4.6になったが、sqoop importを実行しようとした...
0
hadoop

Parse error can be caused due to NUL character included in records with Sqoop

Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。また、Sqoopはコマンドラインからsqoopコマンドを実行する...
0
hadoop

impalaでmrubyを動かす

以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。最近、mysqlでmrubyを動かしている例があると知り、ちょうどmrubyも触ってみたいと思っていたので、今回はimpala udfとmrubyをテーマに、imp...
0
hadoop

Using UDF’s jar of Hive with Impala

I tried to use UDF's jar of Hive with Impala, but ClassCastException has been thrown. I created a function reflect(strin...
0
hadoop

Create file /tmp/impala-scratch/…. with errno=2 description=Error(2): No such file or directory

impalaでクエリを実行すると,以下のようなエラーが出ることがある。 クエリはエラーになる。 以下のcommunityサイトで質問されている方がいた。 community.cloudera.com impala2.0からサポートされている...
0
hadoop

Get corrupt file blocks returned error: Operation category READ is not supported in state standby

Cloudera ManagerでNameNode HAしてから,以下のWARNメッセージがStandbyNameNodeのログに定期的に出力される。結構な頻度で書き込まれ,また診断のログの方にも上がってくるので何とか抑制したい。 このJI...
0
hadoop

Hive Auto Convert Join

これか!? CDHのバージョンを4.7から5.3.2に上げたときに,Hiveも0.13.1に上がり,オプションのデフォルト値が変わっていたのを見落としていた。。 joinの最適化に関連するオプションのようで,以下の値がデフォルトでtrueに...
0
hadoop

Run query on HiveServer2 by thrift

RBHiveクライアントを使ってHiveServer2経由でクエリを実行しようとしたところ,上手くいかずハマってしまった。 以下のようなコードを実行しようとしたところ,エラーで実行できない。 HiveServer2でのエラーは以下。 RBH...
0
hadoop

Upgrade Hue from 2.5 to 3.7 on upgrade CDH to 5

Cloudera Manager4から5へアップデートし,CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので,とても簡単に移行できる。 rdbms Hue...
0
hadoop

Sqoop1.x Import Process

RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。 Sqoop run process sqoopコマンドを実行すると、hadoopコマンドをorg.apache.sq...
0
hadoop

Impala queries in Hue remain to be "in flight".

単純なログ検索しか行なっていないけれど,HueからImpalaクエリを実行して爆速!と喜んでいたのだが,クエリがCMのActivityMonitorではRUNNINGのまま,Impala Query UIでもXX queries in fl...
0
hadoop

Impalaのmetadataの更新

fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。 Impala1.2.Xで,Impalad,Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割につ...
0
スポンサーリンク