hadoop Use commons-dbutils with hive-jdbc
hive-jdbcと一緒にcommons-dbutilsを使う場合。環境 commons-dbutils 1.6 hive-jdbc-1.1.0-cdh5.7.1DbUtilsでgetParameterMetaDataの呼び出しをスキップh...
2016.10.01
![]()
0
0
hadoop
hadoop
hadoop 
hadoop Suppress the message “Supplied authorities: …” org.apache.hive.jdbc.Utils#parseURL emits
HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Supplied authorities: ..."のようなメッセージが出力されます。hive-jdbcの依存するライブラリはcommons-logging、Log4...
2016.10.01
![]()
0
0
hadoop
hadoop Sqoop import failed because of error “Make sure HIVE_CONF_DIR is set correctly”
Sqoop Import failed after CDH upgradingHadoop環境をCDH5.3.xから5.7.xへアップグレードするとsqoopは1.4.5から1.4.6になったが、sqoop importを実行しようとしたと...
2016.08.06
2016.11.08
![]()
0
0
hadoop
hadoop Parse error can be caused due to NUL character included in records with Sqoop
Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。また、Sqoopはコマンドラインからsqoopコマンドを実行する...
2016.07.18
![]()
0
0
hadoop
hadoop impalaでmrubyを動かす
以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。最近、mysqlでmrubyを動かしている例があると知り、ちょうどmrubyも触ってみたいと思っていたので、今回はimpala udfとmrubyをテーマに、imp...
2015.12.27
2016.12.03
![]()
0
0
hadoop
hadoop Using UDF’s jar of Hive with Impala
I tried to use UDF's jar of Hive with Impala, but ClassCastException has been thrown. I created a function reflect(strin...
2015.11.13
2016.12.03
![]()
0
0
hadoop
hadoop Create file /tmp/impala-scratch/…. with errno=2 description=Error(2): No such file or directory
impalaでクエリを実行すると，以下のようなエラーが出ることがある。クエリはエラーになる。以下のcommunityサイトで質問されている方がいた。community.cloudera.comimpala2.0からサポートされている'spi...
2015.06.03
2016.12.03
![]()
0
0
hadoop
hadoop Get corrupt file blocks returned error: Operation category READ is not supported in state standby
Cloudera ManagerでNameNode HAしてから，以下のWARNメッセージがStandbyNameNodeのログに定期的に出力される。結構な頻度で書き込まれ，また診断のログの方にも上がってくるので何とか抑制したい。このJIR...
2015.05.16
2016.12.03
![]()
0
0
hadoop
hadoop Hive Auto Convert Join
これか！？CDHのバージョンを4.7から5.3.2に上げたときに，Hiveも0.13.1に上がり，オプションのデフォルト値が変わっていたのを見落としていた。。 joinの最適化に関連するオプションのようで，以下の値がデフォルトでtrueに変...
2015.04.22
2016.12.03
![]()
0
0
hadoop
hadoop Run query on HiveServer2 by thrift
RBHiveクライアントを使ってHiveServer2経由でクエリを実行しようとしたところ，上手くいかずハマってしまった。以下のようなコードを実行しようとしたところ，エラーで実行できない。HiveServer2でのエラーは以下。RBHive...
2015.03.26
2016.12.03
![]()
0
0
hadoop
hadoop Upgrade Hue from 2.5 to 3.7 on upgrade CDH to 5
Cloudera Manager4から5へアップデートし，CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので，とても簡単に移行できる。rdbmsHueが2...
2015.03.16
2016.12.03
![]()
0
0
hadoop
hadoop Sqoop1.x Import Process
RDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。Sqoop run process sqoopコマンドを実行すると、hadoopコマンドをorg.apache.sqo...
2014.07.19
2016.12.03
![]()
0
0
hadoop
hadoop Impala queries in Hue remain to be "in flight".
単純なログ検索しか行なっていないけれど，HueからImpalaクエリを実行して爆速！と喜んでいたのだが，クエリがCMのActivityMonitorではRUNNINGのまま，Impala Query UIでもXX queries in fl...
2014.02.01
2022.02.26
![]()
0
0
hadoop
hadoop Impalaのmetadataの更新
fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。Impala1.2.Xで，Impalad，Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割につい...
2014.01.16
2016.12.03
![]()
0
0
hadoop