hadoop Use commons-dbutils with hive-jdbc
hive-jdbcと一緒にcommons-dbutilsを使う場合。 環境 commons-dbutils 1.6 hive-jdbc-1.1.0-cdh5.7.1 DbUtilsでgetParameterMetaDataの呼び出しをスキッ...
2016.10.01
0
0
hadoop
byebyehaikikyou
hadoop 
hadoop Suppress the message “Supplied authorities: …” org.apache.hive.jdbc.Utils#parseURL emits
HiveServer2にJDBC経由で接続する際に、ログの設定によっては"Supplied authorities: ..."のようなメッセージが出力されます。hive-jdbcの依存するライブラリはcommons-logging、Log4...
2016.10.01
0
0
hadoop
日記 レンタルサーバーお引越し
WordPressで運用しているあるサイトを、さくらレンタルサーバー（スタンダードプラン）からXSERVER（X10プラン）へ引越しすることにしました。 さくら（スタンダードプラン）とXSERVER（X10プラン） さくらレンタルサーバーは...
2016.09.24
0
0
日記
hadoop Sqoop import failed because of error “Make sure HIVE_CONF_DIR is set correctly”
Sqoop Import failed after CDH upgrading Hadoop環境をCDH5.3.xから5.7.xへアップグレードするとsqoopは1.4.5から1.4.6になったが、sqoop importを実行しようとした...
2016.08.06
0
0
hadoop
hadoop Parse error can be caused due to NUL character included in records with Sqoop
Sqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。また、Sqoopはコマンドラインからsqoopコマンドを実行する...
2016.07.18
0
0
hadoop
ansible Install Cloudera Manager with Ansible
Cloudera Managerを使って本番用のHadoopクラスタ環境を構築して運用している。アップデート時など調査・検証のためテスト環境を度々繰り返し構築しなおすことがあるため、ある程度構築を自動化しておきたいと思い、今回Ansible...
2016.07.03
0
0
ansible
ansible AnsibleのplaybookをVagrantでテストする
AnsibleのplaybookをテストをするのにVagrantで構築した仮想マシンを使っている。VagrantではProvisionerとしてAnsibleが利用可能であり以下のようにすればvagrant upでAnsibleのplayb...
2016.06.23
0
0
ansible
java JNIメモ１
Impalaという分散クエリエンジンを使っていてImpaladが突然JVMのSIGSEGVで異常終了してしまうことがありソースを追いかけている。ソースを読んでいるとJNI経由でC++の世界とJavaの世界との連携を行なっている部分があり、J...
2016.06.16
0
0
java
html Mark up articles with structured data
最近Wordpressのテーマを久しぶりに書いてみたのですが、Googleウェブマスターツールで構造化データのErrorやWarningが検出されてしまいました。。構造化データについては、scheme.orgのBlogPostingというタ...
2016.06.10
0
0
html
java Building OpenJDK9 on Mac
Javaをデバッグ実行したくOpenJDKをmac上でビルドした時のメモ。僕の環境は以下の通り。 ビルド環境 OS X EL Captain 10.11.5 XCode7.3.1 JDK1.8.0_77 OpenJDK9 ビルド OpenJ...
2016.06.06
0
0
java
wordpress WordPressのテーマ(Eccentric)を書いてみました
Stingerを使わさせていただいていたのですが、色々とカスタマイズしたくなり勢い余って久しぶりにWordPressのテーマを書いてみました。 Bootstrapベースのシンプルなテーマです。このサイトで使っているテーマです。もし興味がある...
2016.06.01
0
0
wordpress
シェルスクリプト BatsでシェルスクリプトやCLIプログラムのテストをする
恥ずかしながら今まではシェルスクリプトで書いたプログラムのテストをするときは、echoやprint、-xオプションを駆使して行なっていたのですが、Batsというテストフレームワークがあることを知り早速使ってみました。 2017.9.7修正 ...
2016.05.08
1
1
シェルスクリプト
マイコン MacでH8-3067マイコンのクロスコンパイラ環境を構築してLEDを点灯させる
少し前にlittleBitsのArduino Coding Kitを使ったハンズオンセミナーに参加してきたのですが、そのハンズオンでの楽しさと最近のIoTの盛り上がりに触発されたこともあって、随分前に購入して棚の奥で眠っていたH8-3067...
2016.05.06
0
0
マイコン
日記 Linus Torvalds: The mind behind Linuxの中で出てきたGood taste
英語の学習も兼ねて「TED: Linus Torvalds: The mind behind Linux」を見ていた中で、プログラミングに関する話題が出てきたのでピックアップしてみます。 単方向リストの実装に関するトピックで、どちらの実装が...
2016.04.09
0
0
日記