Impala queries in Hue remain to be "in flight".

単純なログ検索しか行なっていないけれど,HueからImpalaクエリを実行して爆速!と喜んでいたのだが,クエリがCMのActivityMonitorではRUNNINGのまま,Impala Query UIでもXX queries in flightのように表示されていつまで経っても終了しない。 

環境は以下。

  • CDH4.4
  • Hue2.5
  • Impala1.2.2
  • Cloudera Manager4.8

impala-shell経由やJDBC経由で実行したクエリについてはCompletedになっているようだが,Hueで実行した場合にこの現象が見られる。どうも,色々調べてみると同現象に類似した内容のレポートがあがっているようで,known issuesらしい。ここでの現象もおそらくこれに該当するかと。hue close impala queryのようなキーワードでひっかかる。

Hueの将来のバージョンにおいては,リソースのcleaningを完全に保証するものではないものの,Hueで実行されたクエリについてcleaningできるようになる?(下記リンクより)

また,Impalaにおいてはアイドル状態のクエリ,セッションを強制的にcloseするコマンドラインオプションが追加されている。CMからは,Impaladのコマンドライン引数安全バルブで指定できる。しかし,これらを設定してもこの問題については試した限りでは上手くいかなかった。Hueからの実行については,キャンセルするしかないか。。

ex)
--idle_query_timeout=60\r\n--idle_session_timeout=1800

参考

byebyehaikikyou

日記やIT系関連のネタ、WordPressに関することなど様々な事柄を書き付けた雑記です。ITエンジニア経験があるのでプログラミングに関することなどが多いです。

シェアする

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

コメントする

Translate »