単純なログ検索しか行なっていないけれど，HueからImpalaクエリを実行して爆速！と喜んでいたのだが，クエリがCMのActivityMonitorではRUNNINGのまま，Impala Query UIでもXX queries in flightのように表示されていつまで経っても終了しない。
環境は以下。
- CDH4.4
- Hue2.5
- Impala1.2.2
- Cloudera Manager4.8
impala-shell経由やJDBC経由で実行したクエリについてはCompletedになっているようだが，Hueで実行した場合にこの現象が見られる。どうも，色々調べてみると同現象に類似した内容のレポートがあがっているようで，known issuesらしい。ここでの現象もおそらくこれに該当するかと。hue close impala queryのようなキーワードでひっかかる。
- https://issues.cloudera.org/browse/HUE-994
- https://issues.cloudera.org/browse/HUE-1455
- http://grokbase.com/p/cloudera/hue-user/13a4gxdawm/closing-of-impala-queries
- http://community.cloudera.com/t5/Interactive-Short-cycle-SQL/In-CM-4-8-Impala-Service-gt-Queries-showing-many-threads-running/td-p/4135
- http://grokbase.com/t/cloudera/scm-users/141hxx1qpd/running-impala-queries-in-activity-monitor
Hueの将来のバージョンにおいては，リソースのcleaningを完全に保証するものではないものの，Hueで実行されたクエリについてcleaningできるようになる？（下記リンクより）
また，Impalaにおいてはアイドル状態のクエリ，セッションを強制的にcloseするコマンドラインオプションが追加されている。CMからは，Impaladのコマンドライン引数安全バルブで指定できる。しかし，これらを設定してもこの問題については試した限りでは上手くいかなかった。Hueからの実行については，キャンセルするしかないか。。
|
1 2 |
ex) --idle_query_timeout=60\r\n--idle_session_timeout=1800 |
コメント