hue」タグアーカイブ

Upgrade Hue from 2.5 to 3.7 on upgrade CDH to 5

この記事は【2015年3月16日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

Cloudera Manager4から5へアップデートし,CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので,とても簡単に移行できる。

rdbms

Hueが2.5から3.7になり,UIも刷新され使いやすくなっている。また,Hueから任意のRDBMSへ接続してテーブル情報や任意のクエリを実行できるようになっていた!(Hue3.5?くらいから入った機能らしい)これは,かなり便利。phpmyadminのような管理ツールほど多機能ではないけれど,サクッといつものHueインターフェースからデータを確認するには十分。 

CM経由でこの設定を追加するには,safety_valveを使う。例えば,SQLiteを使っている場合は,以下のようになる。詳細は,以下のリンクで確認できる。

http://gethue.com/dbquery-app-mysql-postgresql-oracle-and-sqlite-query/

DatabaseError: relation “desktop_documenttag” does not exist

CDH4.7からCDH5.3へアップグレードして,Hueの3.7にアップグレードされたのだが,どうにも移行時に上手くテーブルが作成されていなかったのか,ホーム画面やHiveやImpalaのマイクエリ画面が見えず,以下のようなエラーが出てしまった。

以下のグループでも似たようなエラーに関する投稿がされていた。

https://groups.google.com/a/cloudera.org/forum/#!msg/hue-user/4zuuQXcmdj0/nVKbc10oB9UJ

この投稿を見る限りでは,どうも解決されていない?ようだったので,差し当たって新規に別の仮想マシン上でHueをセットアップして,同じデータベース環境(今回の場合は,MySQL)の欠損しているテーブルのダンプを取得しインポートすることにした。ただし,この方法は無理やりなので要注意。その他,oozie関連のテーブルでカラムがないと怒られたので,それも地道に対応。oozieを使っていなかったので,データについては気にしないでよかった。

参考

Impala queries in Hue remain to be "in flight".

この記事は【2014年2月1日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

単純なログ検索しか行なっていないけれど,HueからImpalaクエリを実行して爆速!と喜んでいたのだが,クエリがCMのActivityMonitorではRUNNINGのまま,Impala Query UIでもXX queries in flightのように表示されていつまで経っても終了しない。 

環境は以下。

  • CDH4.4
  • Hue2.5
  • Impala1.2.2
  • Cloudera Manager4.8

impala-shell経由やJDBC経由で実行したクエリについてはCompletedになっているようだが,Hueで実行した場合にこの現象が見られる。どうも,色々調べてみると同現象に類似した内容のレポートがあがっているようで,known issuesらしい。ここでの現象もおそらくこれに該当するかと。hue close impala queryのようなキーワードでひっかかる。

Hueの将来のバージョンにおいては,リソースのcleaningを完全に保証するものではないものの,Hueで実行されたクエリについてcleaningできるようになる?(下記リンクより)

また,Impalaにおいてはアイドル状態のクエリ,セッションを強制的にcloseするコマンドラインオプションが追加されている。CMからは,Impaladのコマンドライン引数安全バルブで指定できる。しかし,これらを設定してもこの問題については試した限りでは上手くいかなかった。Hueからの実行については,キャンセルするしかないか。。

参考

Hue/Hiveにてデフォルトでクラスパスに追加されるjarを設定する

この記事は【2014年1月8日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

Cloudera Managerを使ってHueをインストールして,SerDeありのテーブルを作成した際にMetastore Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。

Hive CLIでテーブルを作成し,HueのMetastore Managerのテーブルのサンプルタブを押すとおそらくサンプルを取得するクエリが投げられると思うのだけど,SerDe有りのテーブルの場合,add jarできないのでエラーになってしまう。ちなみに,Beeswax(Hive UI)上でadd jarしてクエリを投げるとサンプルも正常に閲覧できる。セッションが残っている間は有効なのだろうか。

ということで,Beeswaxでデフォルトでjarをクラスパスに設定できないかと。jarの指定方法には,hive-conf/hive-site.xmlhive.aux.jars.pathと環境変数HIVE_AUX_JARS_PATHがあるが,参考リンクを見ると,

Beeswax: there is a workaround with the HIVE_AUX_JARS_PATH : https://issues.cloudera.org/browse/HUE-1127

HiveServer2 supports a hive.aux.jars.path property in the hive-site.xml. HiveServer2 does not support a .hiverc and Hue is looking at providing an equivalent at some point: https://issues.cloudera.org/browse/HUE-1066

by http://stackoverflow.com/questions/19135869/best-place-for-json-serde-jar-in-cdh-hadoop-for-use-with-hive-hue-mapreduce

と書かれており,Beeswaxではhive-env.sh方式と同様にHIVE_AUX_JARS_PATHを使って,HiveServer2はhive.aux.jars.pathを使って指定できるみたいだった。けれど,Cloudera ManagerのBeeswaxで安全バルブを探してみたけど見つからない。。そこで,hive-site.xmlの安全バルブに試しに以下のように指定してみたところ上手くいった。どうやらBeeswaxサービス起動時にここをみているようだ。

パスの指定は,ローカルファイルシステムでディレクトリでなくjarの絶対パスの指定で上手くいった。HDFS上のパスやローカルファイルシステム上のディレクトリを指定してみたが動作しなかった。これで,サンプルのタブを開いても結果が正常に表示されるようになった。

ちなみに,環境は以下。

  • CM4.8
  • CDH4.4
  • Hue2.5

参考