「impala」タグアーカイブ

impalaでmrubyを動かす

この記事は【2015年12月27日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。最近、mysqlでmrubyを動かしている例があると知り、ちょうどmrubyも触ってみたいと思っていたので、今回はimpala udfとmrubyをテーマに、impalaのudfでmrubyが実行できるimpala-udf-mrb_evalを書いてみた。

c++、mruby、どちらも経験が浅いのでコードは稚拙ですが、一応こんな感じで動作します。~~大規模なデータセットで試してはないですが~~大きなデータセットで試すと現状だと十分なパフォーマンスがでない。。ですが、表現が広がっていい感じです。

> create function mrb_eval(string) returns string location '/path/to/libmrb_eval.so' symbol='MRBEval';
> select mrb_eval('(1..3).reduce(&:+)');
Query: select mrb_eval('(1..3).reduce(&:+)')
+----------------------------------------+
| default.mrb_eval('(1..3).reduce(&:+)') |
+----------------------------------------+
| 6                                      |
+----------------------------------------+
Fetched 1 row(s) in 0.02s

> create function mrb_eval(string) returns string location '/path/to/libmrb_eval.so' symbol='MRBEval';

> select mrb_eval('(1..3).reduce(&:+)');

Query: select mrb_eval('(1..3).reduce(&:+)')

+----------------------------------------+

| default.mrb_eval('(1..3).reduce(&:+)') |

+----------------------------------------+

| 6 |

+----------------------------------------+

Fetched 1 row(s) in 0.02s

参考リンク

Using UDF’s jar of Hive with Impala

コメントを残す

この記事は【2015年11月13日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

I tried to use UDF’s jar of Hive with Impala, but ClassCastException has been thrown. I created a function reflect(string, string, string...) whose symbol is org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect class.

> create function reflect(string, string, string...) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect';
Query: create function reflect(string, string, string...) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect'
> select reflect('java.net.URLDecoder', 'decode', 'a', 'UTF-8') ;
Query: select reflect('java.net.URLDecoder', 'decode', 'a', 'UTF-8')
WARNINGS: ClassCastException: class org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect

> create function reflect(string, string, string...) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect';

Query: create function reflect(string, string, string...) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect'

> select reflect('java.net.URLDecoder', 'decode', 'a', 'UTF-8') ;

Query: select reflect('java.net.URLDecoder', 'decode', 'a', 'UTF-8')

WARNINGS: ClassCastException: class org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect

And log of Impala Daemon is the following:

I1112 15:42:13.068034  7056 UdfExecutor.java:415] Loading UDF 'org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect' from /var/lib/impala/udfs/hive-exec-1.1.0-cdh5.4.7.3221.0.jar
I1112 15:42:13.068990  7056 jni-util.cc:177] java.lang.ClassCastException: class org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect
at java.lang.Class.asSubclass(Class.java:3165)
at com.cloudera.impala.hive.executor.UdfExecutor.init(UdfExecutor.java:418)
at com.cloudera.impala.hive.executor.UdfExecutor.<init>(UdfExecutor.java:132)
I1112 15:42:13.071012  7056 status.cc:114] ClassCastException: class org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect

I1112 15:42:13.068034 7056 UdfExecutor.java:415] Loading UDF 'org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect' from /var/lib/impala/udfs/hive-exec-1.1.0-cdh5.4.7.3221.0.jar

I1112 15:42:13.068990 7056 jni-util.cc:177] java.lang.ClassCastException: class org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect

at java.lang.Class.asSubclass(Class.java:3165)

at com.cloudera.impala.hive.executor.UdfExecutor.init(UdfExecutor.java:418)

at com.cloudera.impala.hive.executor.UdfExecutor.<init>(UdfExecutor.java:132)

I1112 15:42:13.071012 7056 status.cc:114] ClassCastException: class org.apache.hadoop.hive.ql.udf.generic.GenericUDFReflect

So I looked into com.cloudera.impala.hive.executor.UdfExecutor and found that the symbol class must be extended org.apache.hadoop.hive.ql.exec.UDF. GenericUDFReflect does not extend UDF but GenericUDF.

//
// By com.cloudera.impala.hive.executor.UDFExecutor.java
//
private void init(String jarPath, String udfPath,
ColumnType retType, ColumnType... parameterTypes) throws
ImpalaRuntimeException {
ArrayList<String> signatures = Lists.newArrayList();
try {
LOG.debug("Loading UDF '" + udfPath + "' from " + jarPath);
ClassLoader loader = getClassLoader(jarPath);
Class<?> c = Class.forName(udfPath, true, loader);
Class<? extends UDF> udfClass = c.asSubclass(UDF.class); // <--- This point
Constructor<? extends UDF> ctor = udfClass.getConstructor();
...

// By com.cloudera.impala.hive.executor.UDFExecutor.java

private void init(String jarPath, String udfPath,

ColumnType retType, ColumnType... parameterTypes) throws

ImpalaRuntimeException {

ArrayList<String> signatures = Lists.newArrayList();

try {

LOG.debug("Loading UDF '" + udfPath + "' from " + jarPath);

ClassLoader loader = getClassLoader(jarPath);

Class<?> c = Class.forName(udfPath, true, loader);

Class<? extends UDF> udfClass = c.asSubclass(UDF.class); // <--- This point

Constructor<? extends UDF> ctor = udfClass.getConstructor();

...

I replaced classes which extend GenericUDF with ones which extend UDF. They looks like they work well. Let me show you some examples.

> create function my_length(string) returns int location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFLength';
Query: create function my_length(string) returns int location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFLength'
Fetched 0 row(s) in 0.03s
> select my_length('abcde') ;
Query: select my_length('abcde')
+----------------------------+
| default.my_length('abcde') |
+----------------------------+
| 5                          |
+----------------------------+
Fetched 1 row(s) in 0.01s
> create function get_json_object(string, string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFJson';
Query: create function get_json_object(string, string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFJson'
Fetched 0 row(s) in 0.02s
> select get_json_object('{"a":"b"}', '$.a') ;
Query: select get_json_object('{"a":"b"}', '$.a')
+---------------------------------------------+
| default.get_json_object('{"a":"b"}', '$.a') |
+---------------------------------------------+
| b                                           |
+---------------------------------------------+
> create function my_base64(string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFBase64';
Query: create function my_base64(string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFBase64'
Fetched 0 row(s) in 0.03s
> select my_base64('abcde') ;
Query: select my_base64('abcde')
+----------------------------+
| default.my_base64('abcde') |
+----------------------------+
| YWJjZGU=                   |
+----------------------------+
Fetched 1 row(s) in 0.15s

> create function my_length(string) returns int location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFLength';

Query: create function my_length(string) returns int location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFLength'

Fetched 0 row(s) in 0.03s

> select my_length('abcde') ;

Query: select my_length('abcde')

+----------------------------+

| default.my_length('abcde') |

+----------------------------+

| 5 |

+----------------------------+

Fetched 1 row(s) in 0.01s

> create function get_json_object(string, string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFJson';

Query: create function get_json_object(string, string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFJson'

Fetched 0 row(s) in 0.02s

> select get_json_object('{"a":"b"}', '$.a') ;

Query: select get_json_object('{"a":"b"}', '$.a')

+---------------------------------------------+

| default.get_json_object('{"a":"b"}', '$.a') |

+---------------------------------------------+

| b |

+---------------------------------------------+

> create function my_base64(string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFBase64';

Query: create function my_base64(string) returns string location '/tmp/hive-exec-1.1.0-cdh5.4.7.jar' symbol='org.apache.hadoop.hive.ql.udf.UDFBase64'

Fetched 0 row(s) in 0.03s

> select my_base64('abcde') ;

Query: select my_base64('abcde')

+----------------------------+

| default.my_base64('abcde') |

+----------------------------+

| YWJjZGU= |

+----------------------------+

Fetched 1 row(s) in 0.15s

User-Defined Functions (UDFs)

Create file /tmp/impala-scratch/…. with errno=2 description=Error(2): No such file or directory

コメントを残す

この記事は【2015年6月3日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

impalaでクエリを実行すると，以下のようなエラーが出ることがある。
クエリはエラーになる。

Create file /tmp/impala-scratch/.... with errno=2 description=Error(2): No such file or directory

1	Create file /tmp/impala-scratch/.... with errno=2 description=Error(2): No such file or directory

以下のcommunityサイトで質問されている方がいた。

community.cloudera.com

impala2.0からサポートされている’spill to disk’の機能だ。巨大なデータのソートやjoin，grouping，分析関数の実行時などメモリ消費がリミットを超える場合でもout of memoryで終了するのではなく，パフォーマンスの低下を許容しつつdiskも使って何とか結果を返してくれる。

このspill to diskで使用されるのが，--scratch_dirs="path_to_directory"で，ドキュメントによるとデフォルトでは/tmp/impala-scratchとなっている。スレーブノードのローカルディスク上で/tmp/impala-scratchを探すとやはりいない。恐らくこのディレクトリは自分で作成しないといけない？と思われる。

上記サイトでも言及されているように/tmpは消去される可能性もあることを想定し，今回は/var/tmpに作成することにした。

directory "/var/tmp/impala-scratch" do
owner "impala"
group "impala"
mode  "0755"
action :create
end

directory "/var/tmp/impala-scratch" do

owner "impala"

group "impala"

mode "0755"

action :create

end

そして，Cloudera Managerではscratch_dirsの設定を行なう入力フォームが以下のように用意されている。設定を変更してimpalaサービスの再起動を行なう。

参考リンク

Impala queries in Hue remain to be "in flight".

コメントを残す

この記事は【2014年2月1日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

単純なログ検索しか行なっていないけれど，HueからImpalaクエリを実行して爆速！と喜んでいたのだが，クエリがCMのActivityMonitorではRUNNINGのまま，Impala Query UIでもXX queries in flightのように表示されていつまで経っても終了しない。

環境は以下。

CDH4.4
Hue2.5
Impala1.2.2
Cloudera Manager4.8

impala-shell経由やJDBC経由で実行したクエリについてはCompletedになっているようだが，Hueで実行した場合にこの現象が見られる。どうも，色々調べてみると同現象に類似した内容のレポートがあがっているようで，known issuesらしい。ここでの現象もおそらくこれに該当するかと。hue close impala queryのようなキーワードでひっかかる。

Hueの将来のバージョンにおいては，リソースのcleaningを完全に保証するものではないものの，Hueで実行されたクエリについてcleaningできるようになる？（下記リンクより）

https://groups.google.com/a/cloudera.org/forum/#!topic/hue-user/4S8AWTDMr8o

また，Impalaにおいてはアイドル状態のクエリ，セッションを強制的にcloseするコマンドラインオプションが追加されている。CMからは，Impaladのコマンドライン引数安全バルブで指定できる。しかし，これらを設定してもこの問題については試した限りでは上手くいかなかった。Hueからの実行については，キャンセルするしかないか。。

ex)
--idle_query_timeout=60\r\n--idle_session_timeout=1800

1 2	ex) --idle_query_timeout=60\r\n--idle_session_timeout=1800

参考

http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_admin.html

Impalaのmetadataの更新

コメントを残す

この記事は【2014年1月16日】と作成から2年以上経っているため、記事の内容が古い可能性があります。最新の情報を合わせてご確認されることを推奨いたします。

fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。

Impala1.2.Xで，Impalad，Catalogd + StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割については，いつも参考にさせていただいているKernel023さんの参考リンクに詳しく説明されている。Catalogdサービスを動かしていればImpala経由で実行したDDLによる変更は，クラスタ内の他のImpaladにも反映されるようだ。なお，HueのImpala Query UIから『METASTOREカタログの更新』を実行するとInvalid method name: 'ResetCatalog' (code THRIFTAPPLICATION): Noneとエラーになる。クエリでinvalidate metadataと実行することは問題ない。

現在，fluendからHDFSへ書き込んだ時間単位のログ（flush_intervalは数分置き）は，EXTERNAL TABLEでHiveで読めるようにしている。また，時間単位のログはDailyでHiveのDBディレクトリ直下に圧縮して保存している。いずれも，Hive経由で処理しているので，時間単位とDailyでの更新をImpalaへ別途通知する必要がある。

Impalaに更新を通知するのにどうすればよいものかと思っていたが，結局以下のようにして現状対応することとした。

時間単位のログについては，定期に１時間単位などでrefresh <table>を実行。invalidate metadataだと時間がかかるので，テーブル指定で変更のあるテーブルのみに適用する。
最新の時間単位のログをImpalaクエリで処理する場合は，実行するクエリにrefresh <table>を加える。
Dailyでログを圧縮した際には，invalidate metadataを実行。

とりあえずはこれでしばらく様子を見てみる。

メインの開発環境がJavaなので，いつもの慣れたAPIでJDBC経由でクエリを実行したいと思っていたところ，Impalaの実行にはimpala-shell，ODBC，JDBC，Beeswax（Thrift），Impala Query UIのインターフェースがあるようだった。JDBC経由での実行については，以下にサンプルを公開してくれている方がいるので参考にさせていただいた。

https://github.com/onefoursix/Cloudera-Impala-JDBC-Example

参考

プログラミング Hive

作者: Edward Capriolo,Dean Wampler,Jason Rutherglen,佐藤直生,嶋内翔,Sky株式会社玉川竜司
出版社/メーカー: オライリージャパン
発売日: 2013/06/15
メディア: 大型本
この商品を含むブログ (3件) を見る

デバッグライフ

プログラミングや日常の記録など

「impala」タグアーカイブ

impalaでmrubyを動かす

参考リンク

Using UDF’s jar of Hive with Impala

Create file /tmp/impala-scratch/…. with errno=2 description=Error(2): No such file or directory

参考リンク

Impala queries in Hue remain to be "in flight".

参考

Impalaのmetadataの更新

参考