hadoop | デバッグライフ

Use commons-dbutils with hive-jdbc

byebyehaikikyou — Sat, 01 Oct 2016 11:44:10 +0000

hive-jdbcと一緒にcommons-dbutilsを使う場合。目次環境DbUtilsでgetParameterMetaDataの呼び出しをスキップ参考リンク環境 commons-dbutils 1.6 hiv […]

byebyehaikikyou — Fri, 30 Sep 2016 16:21:58 +0000

HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Supplied authorities: ..."のようなメッセージが出力されます。hive-jdbcの依存するライブラリはcommons-lo […]

byebyehaikikyou — Fri, 05 Aug 2016 15:24:09 +0000

目次 Sqoop Import failed after CDH upgrading参考リンク Sqoop Import failed after CDH upgrading Hadoop環境をCDH5.3.xから5.7 […]

byebyehaikikyou — Mon, 18 Jul 2016 09:08:43 +0000

Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。また、Sqoopはコマンドラインからsqoo […]

byebyehaikikyou — Sat, 26 Dec 2015 16:00:32 +0000

以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。最近、mysqlでmrubyを動かしている例があると知り、ちょうどmrubyも触ってみたいと思っていたので、今回はimpala udfとmrub […]

byebyehaikikyou — Thu, 12 Nov 2015 17:06:24 +0000

I tried to use UDF’s jar of Hive with Impala, but ClassCastException has been thrown. I created a functi […]

byebyehaikikyou — Wed, 03 Jun 2015 14:16:00 +0000

impalaでクエリを実行すると，以下のようなエラーが出ることがある。クエリはエラーになる。 [crayon-6a7b01b0347f1234299250/] 以下のcommunityサイトで質問されている方がいた。 […]

byebyehaikikyou — Fri, 15 May 2015 15:43:43 +0000

Cloudera ManagerでNameNode HAしてから，以下のWARNメッセージがStandbyNameNodeのログに定期的に出力される。結構な頻度で書き込まれ，また診断のログの方にも上がってくるので何とか抑 […]

byebyehaikikyou — Wed, 22 Apr 2015 06:04:22 +0000

これか！？ CDHのバージョンを4.7から5.3.2に上げたときに，Hiveも0.13.1に上がり，オプションのデフォルト値が変わっていたのを見落としていた。。 http://svn.apache.org/repos/a […]

byebyehaikikyou — Thu, 26 Mar 2015 08:03:52 +0000

RBHiveクライアントを使ってHiveServer2経由でクエリを実行しようとしたところ，上手くいかずハマってしまった。以下のようなコードを実行しようとしたところ，エラーで実行できない。 [crayon-6a7b01 […]