スポンサーリンク
日記

トミカのクレーンゲーム

トミカのクレーンゲーム。 とれそうでとれない、なかなか難しい。。 コツは、透明のアクリルでなくトミカのボックスだけを上手にクレーンで拾い上げることらしいのですが、アクリルでなくトミカのボックスを拾い上げるのが大変難しい。 スタッフさんのサポ...
0
java

Javaで作成した一時ファイルを終了時に削除する

Javaのjava.nio.file.Filesで作った一時ファイルをプログラム終了時に削除するのにFilesクラスにそれ用のAPIがあるかと思っていたけどなかったので以下のようにして対応した。 File#deleteOnExit File...
0
hadoop

Use commons-dbutils with hive-jdbc

hive-jdbcと一緒にcommons-dbutilsを使う場合。 環境 commons-dbutils 1.6 hive-jdbc-1.1.0-cdh5.7.1 DbUtilsでgetParameterMetaDataの呼び出しをスキッ...
0
hadoop

Suppress the message “Supplied authorities: …” org.apache.hive.jdbc.Utils#parseURL emits

HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Supplied authorities: ..."のようなメッセージが出力されます。hive-jdbcの依存するライブラリはcommons-logging、Log4...
0
日記

レンタルサーバーお引越し

WordPressで運用しているあるサイトを、さくらレンタルサーバー(スタンダードプラン)からXSERVER(X10プラン)へ引越しすることにしました。 さくら(スタンダードプラン)とXSERVER(X10プラン) さくらレンタルサーバーは...
0
hadoop

Sqoop import failed because of error “Make sure HIVE_CONF_DIR is set correctly”

Sqoop Import failed after CDH upgrading Hadoop環境をCDH5.3.xから5.7.xへアップグレードするとsqoopは1.4.5から1.4.6になったが、sqoop importを実行しようとした...
0
hadoop

Parse error can be caused due to NUL character included in records with Sqoop

Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。また、Sqoopはコマンドラインからsqoopコマンドを実行する...
0
ansible

Install Cloudera Manager with Ansible

Cloudera Managerを使って本番用のHadoopクラスタ環境を構築して運用している。アップデート時など調査・検証のためテスト環境を度々繰り返し構築しなおすことがあるため、ある程度構築を自動化しておきたいと思い、今回Ansible...
0
ansible

AnsibleのplaybookをVagrantでテストする

AnsibleのplaybookをテストをするのにVagrantで構築した仮想マシンを使っている。VagrantではProvisionerとしてAnsibleが利用可能であり以下のようにすればvagrant upでAnsibleのplayb...
0
java

JNIメモ1

Impalaという分散クエリエンジンを使っていてImpaladが突然JVMのSIGSEGVで異常終了してしまうことがありソースを追いかけている。ソースを読んでいるとJNI経由でC++の世界とJavaの世界との連携を行なっている部分があり、J...
0
html

Mark up articles with structured data

最近Wordpressのテーマを久しぶりに書いてみたのですが、Googleウェブマスターツールで構造化データのErrorやWarningが検出されてしまいました。。構造化データについては、scheme.orgのBlogPostingというタ...
0
java

Building OpenJDK9 on Mac

Javaをデバッグ実行したくOpenJDKをmac上でビルドした時のメモ。僕の環境は以下の通り。 ビルド環境 OS X EL Captain 10.11.5 XCode7.3.1 JDK1.8.0_77 OpenJDK9 ビルド OpenJ...
0
wordpress

WordPressのテーマ(Eccentric)を書いてみました

Stingerを使わさせていただいていたのですが、色々とカスタマイズしたくなり勢い余って久しぶりにWordPressのテーマを書いてみました。 Bootstrapベースのシンプルなテーマです。このサイトで使っているテーマです。もし興味がある...
0
シェルスクリプト

BatsでシェルスクリプトやCLIプログラムのテストをする

恥ずかしながら今まではシェルスクリプトで書いたプログラムのテストをするときは、echoやprint、-xオプションを駆使して行なっていたのですが、Batsというテストフレームワークがあることを知り早速使ってみました。 2017.9.7修正 ...
1
スポンサーリンク