hadoop Use commons-dbutils with hive-jdbc
hive-jdbcと一緒にcommons-dbutilsを使う場合。環境commons-dbutils1.6hive-jdbc-1.1.0-cdh5.7.1DbUtilsでgetParameterMetaDataの呼び出しをスキップhive...
2016.10.01
![]()
0
0
hadoop
hadoop
hadoop 
hadoop Suppress the message “Supplied authorities: …” org.apache.hive.jdbc.Utils#parseURL emits
HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Suppliedauthorities:..."のようなメッセージが出力されます。hive-jdbcの依存するライブラリはcommons-logging、Log4J、...
2016.10.01
![]()
0
0
hadoop
hadoop Sqoop import failed because of error “Make sure HIVE_CONF_DIR is set correctly”
SqoopImportfailedafterCDHupgradingHadoop環境をCDH5.3.xから5.7.xへアップグレードするとsqoopは1.4.5から1.4.6になったが、sqoopimportを実行しようとしたところ以下のよ...
2016.08.06
![]()
0
0
hadoop
hadoop Parse error can be caused due to NUL character included in records with Sqoop
Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。また、Sqoopはコマンドラインからsqoopコマンドを実行する...
2016.07.18
![]()
0
0
hadoop
hadoop impalaでmrubyを動かす
以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。最近、mysqlでmrubyを動かしている例があると知り、ちょうどmrubyも触ってみたいと思っていたので、今回はimpalaudfとmrubyをテーマに、impa...
2015.12.27
![]()
0
0
hadoop
hadoop Using UDF’s jar of Hive with Impala
ItriedtouseUDF'sjarofHivewithImpala,butClassCastExceptionhasbeenthrown.Icreatedafunctionreflect(string,string,string...)...
2015.11.13
![]()
0
0
hadoop
hadoop Create file /tmp/impala-scratch/…. with errno=2 description=Error(2): No such file or directory
impalaでクエリを実行すると，以下のようなエラーが出ることがある。クエリはエラーになる。以下のcommunityサイトで質問されている方がいた。community.cloudera.comimpala2.0からサポートされている'spi...
2015.06.03
![]()
0
0
hadoop
hadoop Get corrupt file blocks returned error: Operation category READ is not supported in state standby
ClouderaManagerでNameNodeHAしてから，以下のWARNメッセージがStandbyNameNodeのログに定期的に出力される。結構な頻度で書き込まれ，また診断のログの方にも上がってくるので何とか抑制したい。このJIRAの...
2015.05.16
![]()
0
0
hadoop
hadoop Hive Auto Convert Join
これか！？CDHのバージョンを4.7から5.3.2に上げたときに，Hiveも0.13.1に上がり，オプションのデフォルト値が変わっていたのを見落としていた。。joinの最適化に関連するオプションのようで，以下の値がデフォルトでtrueに変更...
2015.04.22
![]()
0
0
hadoop
hadoop Run query on HiveServer2 by thrift
RBHiveクライアントを使ってHiveServer2経由でクエリを実行しようとしたところ，上手くいかずハマってしまった。以下のようなコードを実行しようとしたところ，エラーで実行できない。HiveServer2でのエラーは以下。RBHive...
2015.03.26
![]()
0
0
hadoop
hadoop Upgrade Hue from 2.5 to 3.7 on upgrade CDH to 5
ClouderaManager4から5へアップデートし，CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので，とても簡単に移行できる。rdbmsHueが2....
2015.03.16
![]()
0
0
hadoop
hadoop Sqoop1.x Import Process
RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。Sqooprunprocesssqoopコマンドを実行すると、hadoopコマンドをorg.apache.sqoop....
2014.07.19
![]()
0
0
hadoop
hadoop Impala queries in Hue remain to be "in flight".
単純なログ検索しか行なっていないけれど，HueからImpalaクエリを実行して爆速！と喜んでいたのだが，クエリがCMのActivityMonitorではRUNNINGのまま，ImpalaQueryUIでもXX queriesinflight...
2014.02.01
![]()
0
0
hadoop
hadoop Impalaのmetadataの更新
fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。Impala1.2.Xで，Impalad，Catalogd+StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割については...
2014.01.16
![]()
0
0
hadoop