hadoop

スポンサーリンク
hadoop

Use commons-dbutils with hive-jdbc

hive-jdbcと一緒にcommons-dbutilsを使う場合。環境commons-dbutils1.6hive-jdbc-1.1.0-cdh5.7.1DbUtilsでgetParameterMetaDataの呼び出しをスキップhive...
0
hadoop

Suppress the message “Supplied authorities: …” org.apache.hive.jdbc.Utils#parseURL emits

HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Suppliedauthorities:..."のようなメッセージが出力されます。hive-jdbcの依存するライブラリはcommons-logging、Log4J、...
0
hadoop

Sqoop import failed because of error “Make sure HIVE_CONF_DIR is set correctly”

SqoopImportfailedafterCDHupgradingHadoop環境をCDH5.3.xから5.7.xへアップグレードするとsqoopは1.4.5から1.4.6になったが、sqoopimportを実行しようとしたところ以下のよ...
0
hadoop

Parse error can be caused due to NUL character included in records with Sqoop

Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。また、Sqoopはコマンドラインからsqoopコマンドを実行する...
0
hadoop

impalaでmrubyを動かす

以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。最近、mysqlでmrubyを動かしている例があると知り、ちょうどmrubyも触ってみたいと思っていたので、今回はimpalaudfとmrubyをテーマに、impa...
0
hadoop

Using UDF’s jar of Hive with Impala

ItriedtouseUDF'sjarofHivewithImpala,butClassCastExceptionhasbeenthrown.Icreatedafunctionreflect(string,string,string...)...
0
hadoop

Create file /tmp/impala-scratch/…. with errno=2 description=Error(2): No such file or directory

impalaでクエリを実行すると,以下のようなエラーが出ることがある。クエリはエラーになる。以下のcommunityサイトで質問されている方がいた。community.cloudera.comimpala2.0からサポートされている'spi...
0
hadoop

Get corrupt file blocks returned error: Operation category READ is not supported in state standby

ClouderaManagerでNameNodeHAしてから,以下のWARNメッセージがStandbyNameNodeのログに定期的に出力される。結構な頻度で書き込まれ,また診断のログの方にも上がってくるので何とか抑制したい。このJIRAの...
0
hadoop

Hive Auto Convert Join

これか!?CDHのバージョンを4.7から5.3.2に上げたときに,Hiveも0.13.1に上がり,オプションのデフォルト値が変わっていたのを見落としていた。。joinの最適化に関連するオプションのようで,以下の値がデフォルトでtrueに変更...
0
hadoop

Run query on HiveServer2 by thrift

RBHiveクライアントを使ってHiveServer2経由でクエリを実行しようとしたところ,上手くいかずハマってしまった。以下のようなコードを実行しようとしたところ,エラーで実行できない。HiveServer2でのエラーは以下。RBHive...
0
hadoop

Upgrade Hue from 2.5 to 3.7 on upgrade CDH to 5

ClouderaManager4から5へアップデートし,CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので,とても簡単に移行できる。rdbmsHueが2....
0
hadoop

Sqoop1.x Import Process

RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。Sqooprunprocesssqoopコマンドを実行すると、hadoopコマンドをorg.apache.sqoop....
0
hadoop

Impala queries in Hue remain to be "in flight".

単純なログ検索しか行なっていないけれど,HueからImpalaクエリを実行して爆速!と喜んでいたのだが,クエリがCMのActivityMonitorではRUNNINGのまま,ImpalaQueryUIでもXX queriesinflight...
0
hadoop

Impalaのmetadataの更新

fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。Impala1.2.Xで,Impalad,Catalogd+StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割については...
0
スポンサーリンク