「IT」カテゴリーアーカイブ

Node.jsでumzug+SequelizeによるDBマイグレーション

今回は、Node.jsでデータベースマイグレーションツールであるumzugについて整理したいと思います。umzugを使うと、アプリケーション内やコマンドラインからDBマイグレーションを実行するプログラムを作成することができます。

Sequelizeのmigration

Node.jsのORMとして有名なOSSの１つとしてSequelizeがあります。そして、sequelizeにはsequelize-cliというコマンドラインインターフェースがあり、初期データを投入するためのseedや、データベースのスキーマ移行をするためのmigrationがあります。ただ、sequelize-cliが生成してくれるテンプレートはJavaScriptであり、私がGitHubを眺めていた時点では（本記事作成時点）TypeScriptへの対応はまだされていないようでした。

例えば、以下のようになコマンドでUser modelを生成してみます。

$ ./node_modules/.bin/sequelize-cli model:create --name User --attributes name:string
Sequelize CLI [Node: 16.13.2, CLI: 6.4.1, ORM: 6.17.0]
New model was created at /Users/guest/workspace/umzug/migration/models/user.js .
New migration was created at /Users/guest/workspace/umzug/migration/migrations/20220227081854-create-user.js

$ ./node_modules/.bin/sequelize-cli model:create --name User --attributes name:string

Sequelize CLI [Node: 16.13.2, CLI: 6.4.1, ORM: 6.17.0]

New model was created at /Users/guest/workspace/umzug/migration/models/user.js .

New migration was created at /Users/guest/workspace/umzug/migration/migrations/20220227081854-create-user.js

生成されたUser modelの中身は以下のようになっています。

'use strict';
const {
Model
} = require('sequelize');
module.exports = (sequelize, DataTypes) => {
class User extends Model {
/**
* Helper method for defining associations.
* This method is not a part of Sequelize lifecycle.
* The `models/index` file will call this method automatically.
*/
static associate(models) {
// define association here
}
}
User.init({
name: DataTypes.STRING
}, {
sequelize,
modelName: 'User',
});
return User;
};

'use strict';

const {

Model

} = require('sequelize');

module.exports = (sequelize, DataTypes) => {

class User extends Model {

/**

* Helper method for defining associations.

* This method is not a part of Sequelize lifecycle.

* The `models/index` file will call this method automatically.

static associate(models) {

// define association here

}

User.init({

}, {

sequelize,

modelName: 'User',

});

return User;

};

sequelize-cliをtypescript対応にしているnpmパッケージもありましたが、あまり更新が活発ではないようでした。

umzug

umzugは、sequelize-cliの内部で使われているマイグレーションツールフレームワークです。sequelize-cliのソースを見ると、マイグレーション実行部分はumzugが担っていることが分かります。sequelize-cliは、umzugを使いやすくしたツールと言えます。umzugはTypeScriptに対応しています。

テスト環境の準備

手元の環境は以下の通りです。

OS	macOS Catalina 10.15.7
Node.js	v16.13.2
sequelize	6.17.0
sequelize-cli	6.4.1
umzug	3.0.0
TypeScript	4.5.5
ts-node	10.5.0
sqlite3	5.0.2

テスト環境の初期化

テスト環境の初期化を行ないます。今回は、ts-nodeを使ってTypeScriptコードをNode.jsから実行できるようにします。

npm install -D typescript
npm install -D @types/node
npx tsc --init
npm install -D ts-node

npm install -D typescript

npm install -D @types/node

npx tsc --init

npm install -D ts-node

こんなコードを書いて、実行できることを確認しておきます。

import * as fs from "fs";
import * as path from "path";
import { Sequelize } from "sequelize";
import { Umzug, SequelizeStorage } from "umzug";
console.log("hello umzug");

import * as fs from "fs";

import * as path from "path";

import { Sequelize } from "sequelize";

import { Umzug, SequelizeStorage } from "umzug";

console.log("hello umzug");

ついでにpackage.jsonに書いて、npm runできるようにしておきます。

{
"name": "migration",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"migrate": "ts-node migrate.ts"
},
"author": "",
"license": "ISC",
"dependencies": {
"sequelize": "^6.17.0",
"sequelize-cli": "^6.4.1",
"sqlite3": "^5.0.2",
"umzug": "^3.0.0"
},
"devDependencies": {
"@types/node": "^17.0.21",
"ts-node": "^10.5.0",
"typescript": "^4.5.5"
}
}

{

"name": "migration",

"version": "1.0.0",

"description": "",

"main": "index.js",

"scripts": {

"migrate": "ts-node migrate.ts"

"author": "",

"license": "ISC",

"dependencies": {

"sequelize": "^6.17.0",

"sequelize-cli": "^6.4.1",

"sqlite3": "^5.0.2",

"umzug": "^3.0.0"

"devDependencies": {

"@types/node": "^17.0.21",

"ts-node": "^10.5.0",

"typescript": "^4.5.5"

}

npm runコマンドを実行してみます。

$ npm run migrate
> migration@1.0.0 migrate
> ts-node migrate.ts
hello umzug

$ npm run migrate

> migration@1.0.0 migrate

> ts-node migrate.ts

hello umzug

よさそうです。

最小サンプル

雰囲気を掴むため、小さなサンプルを見てみたいと思います。以下は、GitHubに掲載されているサンプルと同じです。

import { Sequelize } from "sequelize";
import { Umzug, SequelizeStorage } from "umzug";
const sequelize = new Sequelize({ dialect: "sqlite", storage: "./db.sqlite" });
const umzug = new Umzug({
migrations: { glob: "migrations/*.{js,ts}" },
context: sequelize,
storage: new SequelizeStorage({ sequelize }),
logger: console,
});
(async () => {
// Checks migrations and run them if they are not already applied. To keep
// track of the executed migrations, a table (and sequelize model) called SequelizeMeta
// will be automatically created (if it doesn't exist already) and parsed.
await umzug.up();
})();

import { Sequelize } from "sequelize";

import { Umzug, SequelizeStorage } from "umzug";

const sequelize = new Sequelize({ dialect: "sqlite", storage: "./db.sqlite" });

const umzug = new Umzug({

migrations: { glob: "migrations/*.{js,ts}" },

context: sequelize,

storage: new SequelizeStorage({ sequelize }),

logger: console,

});

(async () => {

// Checks migrations and run them if they are not already applied. To keep

// track of the executed migrations, a table (and sequelize model) called SequelizeMeta

// will be automatically created (if it doesn't exist already) and parsed.

await umzug.up();

})();

Sequelizeインスタンスを作成
UmzugのsequelizeインスタンスをDBドライバとして渡す
upで上位レベルに向かってマイグレーションを実行

migrationsディレクトリが空でも実行可能です。実行すると以下のような結果になります。

$ npm run migrate
> migration@1.0.0 migrate
> ts-node migrate.ts
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

$ npm run migrate

> migration@1.0.0 migrate

> ts-node migrate.ts

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

SequelizeMetaはマイグレーションのメタデータを管理するテーブルです。

TypeScriptファイルの雛形からマイグレーションファイルを生成する

続いて、TypeScriptでマイグレーションファイルを生成するようにしてみます。

migrate.tsファイルを以下のように書き換えます。

import * as fs from "fs";
import * as path from "path";
import { Sequelize } from "sequelize";
import { Umzug, SequelizeStorage } from "umzug";
const sequelize = new Sequelize({ dialect: "sqlite", storage: "./db.sqlite" });
const umzug = new Umzug({
migrations: { glob: "migrations/*.{js,ts}" },
context: sequelize,
storage: new SequelizeStorage({ sequelize }),
logger: console,
create: {
folder: path.join(__dirname, "migrations"),
template: (filepath) => [
[
filepath,
fs
.readFileSync(path.join(__dirname, "templates/sampleMigration.ts"))
.toString(),
],
],
},
});
(async () => {
await umzug.runAsCLI();
})();

import * as fs from "fs";

import * as path from "path";

import { Sequelize } from "sequelize";

import { Umzug, SequelizeStorage } from "umzug";

const sequelize = new Sequelize({ dialect: "sqlite", storage: "./db.sqlite" });

const umzug = new Umzug({

migrations: { glob: "migrations/*.{js,ts}" },

context: sequelize,

storage: new SequelizeStorage({ sequelize }),

logger: console,

create: {

folder: path.join(__dirname, "migrations"),

[

filepath,

.readFileSync(path.join(__dirname, "templates/sampleMigration.ts"))

.toString(),

});

(async () => {

await umzug.runAsCLI();

})();

違いは、以下の２点です。

Umzugの引数にcreateプロパティを追加
umzug.up()をrunAsCLI()に変更

runAsCLI()は、umzug ver3で使用可能なcli実行インターフェースです。こうしておくことで、npm run migrate create -- --name setup.tsのように引数を渡してumzugに渡して実行することができます。

テンプレートファイルは以下のようにしてみます。

import { DataTypes, Sequelize } from "sequelize";
import { MigrationFn } from "umzug";
export const up: MigrationFn<Sequelize> = async ({ context: sequelize }) => {
const t = await sequelize.transaction();
// eslint-disable-next-line @typescript-eslint/no-unused-vars
const queryInterface = sequelize.getQueryInterface();
try {
await sequelize.query("raise fail('up migration not implemented')");
await t.commit();
} catch (error) {
await t.rollback();
}
};
export const down: MigrationFn<Sequelize> = async ({ context: sequelize }) => {
const t = await sequelize.transaction();
// eslint-disable-next-line @typescript-eslint/no-unused-vars
const queryInterface = sequelize.getQueryInterface();
try {
await sequelize.query("raise fail('down migration not implemented')");
await t.commit();
} catch (error) {
await t.rollback();
}
};

import { DataTypes, Sequelize } from "sequelize";

import { MigrationFn } from "umzug";

export const up: MigrationFn<Sequelize> = async ({ context: sequelize }) => {

const t = await sequelize.transaction();

// eslint-disable-next-line @typescript-eslint/no-unused-vars

const queryInterface = sequelize.getQueryInterface();

try {

await sequelize.query("raise fail('up migration not implemented')");

await t.commit();

} catch (error) {

await t.rollback();

}

};

export const down: MigrationFn<Sequelize> = async ({ context: sequelize }) => {

const t = await sequelize.transaction();

// eslint-disable-next-line @typescript-eslint/no-unused-vars

const queryInterface = sequelize.getQueryInterface();

try {

await sequelize.query("raise fail('down migration not implemented')");

await t.commit();

} catch (error) {

await t.rollback();

}

};

では、migrateターゲットでcreateコマンドを実行してみます。

$ npm run migrate create -- --name setup.ts
> migration@1.0.0 migrate
> ts-node migrate.ts "create" "--name" "setup.ts"
{
event: 'created',
path: '/Users/guest/workspace/umzug/migration/migrations/2022.02.28T15.49.12.setup.ts'
}
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

$ npm run migrate create -- --name setup.ts

> migration@1.0.0 migrate

> ts-node migrate.ts "create" "--name" "setup.ts"

{

event: 'created',

path: '/Users/guest/workspace/umzug/migration/migrations/2022.02.28T15.49.12.setup.ts'

}

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

migrationsディレクトリにsetup.tsファイルが作成されることを確認できます。

ついでに、usersテーブルを作成するマイグレーションを実行してみましょう。

import { DataTypes, Sequelize } from "sequelize";
import { MigrationFn } from "umzug";
export const up: MigrationFn<Sequelize> = async ({ context: sequelize }) => {
const t = await sequelize.transaction();
const queryInterface = sequelize.getQueryInterface();
try {
await queryInterface
.createTable("users", {
id: { type: DataTypes.INTEGER, autoIncrement: true, primaryKey: true },
username: { type: DataTypes.STRING(32), allowNull: false },
email: { type: DataTypes.STRING(255), allowNull: false },
password: { type: DataTypes.STRING(255), allowNull: false },
})
.then(() => {
return queryInterface.addIndex("users", {
fields: ["username"],
unique: true,
});
})
.then(() => {
return queryInterface.addIndex("users", {
fields: ["email"],
unique: true,
});
});
await t.commit();
} catch (error) {
await t.rollback();
}
};
export const down: MigrationFn<Sequelize> = async ({ context: sequelize }) => {
const t = await sequelize.transaction();
const queryInterface = sequelize.getQueryInterface();
try {
await queryInterface.dropTable("users");
await t.commit();
} catch (error) {
await t.rollback();
}
};

import { DataTypes, Sequelize } from "sequelize";

import { MigrationFn } from "umzug";

export const up: MigrationFn<Sequelize> = async ({ context: sequelize }) => {

const t = await sequelize.transaction();

const queryInterface = sequelize.getQueryInterface();

try {

await queryInterface

.createTable("users", {

id: { type: DataTypes.INTEGER, autoIncrement: true, primaryKey: true },

username: { type: DataTypes.STRING(32), allowNull: false },

email: { type: DataTypes.STRING(255), allowNull: false },

password: { type: DataTypes.STRING(255), allowNull: false },

})

.then(() => {

return queryInterface.addIndex("users", {

fields: ["username"],

unique: true,

});

})

.then(() => {

return queryInterface.addIndex("users", {

fields: ["email"],

unique: true,

});

await t.commit();

} catch (error) {

await t.rollback();

}

};

export const down: MigrationFn<Sequelize> = async ({ context: sequelize }) => {

const t = await sequelize.transaction();

const queryInterface = sequelize.getQueryInterface();

try {

await queryInterface.dropTable("users");

await t.commit();

} catch (error) {

await t.rollback();

}

};

生成したsetupマイグレーションファイルを上記のように修正します。そして、再びマイグレーションを実行します。

$ npm run migrate up
> migration@1.0.0 migrate
> ts-node migrate.ts "up"
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;
{ event: 'migrating', name: '2022.02.28T15.49.12.setup.ts' }
Executing (86537b2f-f180-4b52-9afd-d2c1487f319b): BEGIN DEFERRED TRANSACTION;
Executing (default): CREATE TABLE IF NOT EXISTS `users` (`id` INTEGER PRIMARY KEY AUTOINCREMENT, `username` VARCHAR(32) NOT NULL, `email` VARCHAR(255) NOT NULL, `password` VARCHAR(255) NOT NULL);
Executing (default): CREATE UNIQUE INDEX `users_username` ON `users` (`username`)
Executing (default): CREATE UNIQUE INDEX `users_email` ON `users` (`email`)
Executing (86537b2f-f180-4b52-9afd-d2c1487f319b): COMMIT;
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): INSERT INTO `SequelizeMeta` (`name`) VALUES ($1);
{
event: 'migrated',
name: '2022.02.28T15.49.12.setup.ts',
durationSeconds: 0.182
}
{ event: 'up', message: 'applied 1 migrations.' }
$ sqlite3 db.sqlite 
SQLite version 3.28.0 2019-04-15 14:49:49
Enter ".help" for usage hints.
sqlite> .schema
CREATE TABLE `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
CREATE TABLE `users` (`id` INTEGER PRIMARY KEY AUTOINCREMENT, `username` VARCHAR(32) NOT NULL, `email` VARCHAR(255) NOT NULL, `password` VARCHAR(255) NOT NULL);
CREATE TABLE sqlite_sequence(name,seq);
CREATE UNIQUE INDEX `users_username` ON `users` (`username`);
CREATE UNIQUE INDEX `users_email` ON `users` (`email`);
sqlite> select * from SequelizeMeta;
2022.02.28T15.49.12.setup.ts

$ npm run migrate up

> migration@1.0.0 migrate

> ts-node migrate.ts "up"

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

{ event: 'migrating', name: '2022.02.28T15.49.12.setup.ts' }

Executing (86537b2f-f180-4b52-9afd-d2c1487f319b): BEGIN DEFERRED TRANSACTION;

Executing (default): CREATE TABLE IF NOT EXISTS `users` (`id` INTEGER PRIMARY KEY AUTOINCREMENT, `username` VARCHAR(32) NOT NULL, `email` VARCHAR(255) NOT NULL, `password` VARCHAR(255) NOT NULL);

Executing (default): CREATE UNIQUE INDEX `users_username` ON `users` (`username`)

Executing (default): CREATE UNIQUE INDEX `users_email` ON `users` (`email`)

Executing (86537b2f-f180-4b52-9afd-d2c1487f319b): COMMIT;

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): INSERT INTO `SequelizeMeta` (`name`) VALUES ($1);

{

event: 'migrated',

durationSeconds: 0.182

}

{ event: 'up', message: 'applied 1 migrations.' }

$ sqlite3 db.sqlite

SQLite version 3.28.0 2019-04-15 14:49:49

Enter ".help" for usage hints.

sqlite> .schema

CREATE TABLE `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

CREATE TABLE `users` (`id` INTEGER PRIMARY KEY AUTOINCREMENT, `username` VARCHAR(32) NOT NULL, `email` VARCHAR(255) NOT NULL, `password` VARCHAR(255) NOT NULL);

CREATE TABLE sqlite_sequence(name,seq);

CREATE UNIQUE INDEX `users_username` ON `users` (`username`);

CREATE UNIQUE INDEX `users_email` ON `users` (`email`);

sqlite> select * from SequelizeMeta;

2022.02.28T15.49.12.setup.ts

無事にusersテーブルが作成されました。

マイグレーションファイルのOrder

辞書でソートされた順にファイルが読み込まれる。タイムスタンプをプリフィックスに元ファイル名にすると良いと思います。

m1.js、m2、…、m10.jsの場合、m1.js、m10.js、…となります。m2.jsよりm10.jsが先にくるということになります。

その他の使用方法

GitHubの公式のドキュメントを見ながら試してみましょう。マイグレーションフォルダには２つの定義を入れています。

$ ls  migrations/
2022.02.28T15.49.12.setup.ts                 2022.02.28T15.49.13.addColumnsToUserTable.ts

1 2	$ ls migrations/ 2022.02.28T15.49.12.setup.ts 2022.02.28T15.49.13.addColumnsToUserTable.ts

ペンディング中のマイグレーションの取得

pendingコマンドを実行します。

$ ./node_modules/.bin/ts-node migrate.ts pending
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;
2022.02.28T15.49.12.setup.ts
2022.02.28T15.49.13.addColumnsToUserTable.ts

$ ./node_modules/.bin/ts-node migrate.ts pending

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

2022.02.28T15.49.12.setup.ts

2022.02.28T15.49.13.addColumnsToUserTable.ts

未適用の2件が表示されます。

適用済みのマイグレーションの取得

executedコマンドの実行前にDBを空にして、upコマンド実行後に再度executedコマンドを実行してみます。

$ ./node_modules/.bin/ts-node migrate.ts executed
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;
$ ./node_modules/.bin/ts-node migrate.ts up
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;
{ event: 'migrating', name: '2022.02.28T15.49.12.setup.ts' }
Executing (9212aec3-4ede-4ea6-821d-ea73c72607dc): BEGIN DEFERRED TRANSACTION;
Executing (default): CREATE TABLE IF NOT EXISTS `users` (`id` INTEGER PRIMARY KEY AUTOINCREMENT, `username` VARCHAR(32) NOT NULL, `email` VARCHAR(255) NOT NULL, `password` VARCHAR(255) NOT NULL);
Executing (default): CREATE UNIQUE INDEX `users_username` ON `users` (`username`)
Executing (default): CREATE UNIQUE INDEX `users_email` ON `users` (`email`)
Executing (9212aec3-4ede-4ea6-821d-ea73c72607dc): COMMIT;
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): INSERT INTO `SequelizeMeta` (`name`) VALUES ($1);
{
event: 'migrated',
name: '2022.02.28T15.49.12.setup.ts',
durationSeconds: 0.173
}
{
event: 'migrating',
name: '2022.02.28T15.49.13.addColumnsToUserTable.ts'
}
Executing (97939936-9fef-43a4-823d-85bdde73aaa7): BEGIN DEFERRED TRANSACTION;
Executing (default): ALTER TABLE `users` ADD `status` INTEGER;
Executing (97939936-9fef-43a4-823d-85bdde73aaa7): COMMIT;
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): INSERT INTO `SequelizeMeta` (`name`) VALUES ($1);
{
event: 'migrated',
name: '2022.02.28T15.49.13.addColumnsToUserTable.ts',
durationSeconds: 0.24
}
{ event: 'up', message: 'applied 2 migrations.' }
$ ./node_modules/.bin/ts-node migrate.ts executed
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;
2022.02.28T15.49.12.setup.ts
2022.02.28T15.49.13.addColumnsToUserTable.ts

$ ./node_modules/.bin/ts-node migrate.ts executed

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

$ ./node_modules/.bin/ts-node migrate.ts up

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

{ event: 'migrating', name: '2022.02.28T15.49.12.setup.ts' }

Executing (9212aec3-4ede-4ea6-821d-ea73c72607dc): BEGIN DEFERRED TRANSACTION;

Executing (default): CREATE TABLE IF NOT EXISTS `users` (`id` INTEGER PRIMARY KEY AUTOINCREMENT, `username` VARCHAR(32) NOT NULL, `email` VARCHAR(255) NOT NULL, `password` VARCHAR(255) NOT NULL);

Executing (default): CREATE UNIQUE INDEX `users_username` ON `users` (`username`)

Executing (default): CREATE UNIQUE INDEX `users_email` ON `users` (`email`)

Executing (9212aec3-4ede-4ea6-821d-ea73c72607dc): COMMIT;

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): INSERT INTO `SequelizeMeta` (`name`) VALUES ($1);

{

event: 'migrated',

durationSeconds: 0.173

}

{

event: 'migrating',

}

Executing (97939936-9fef-43a4-823d-85bdde73aaa7): BEGIN DEFERRED TRANSACTION;

Executing (default): ALTER TABLE `users` ADD `status` INTEGER;

Executing (97939936-9fef-43a4-823d-85bdde73aaa7): COMMIT;

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): INSERT INTO `SequelizeMeta` (`name`) VALUES ($1);

{

event: 'migrated',

durationSeconds: 0.24

}

{ event: 'up', message: 'applied 2 migrations.' }

$ ./node_modules/.bin/ts-node migrate.ts executed

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

2022.02.28T15.49.12.setup.ts

2022.02.28T15.49.13.addColumnsToUserTable.ts

マイグレーション実行後に2件の適用済みリストが表示されます。

マイグレーションの巻き戻し

最後に適用したマイグレーションを巻き戻してみます。

$ ./node_modules/.bin/ts-node migrate.ts down
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;
{
event: 'reverting',
name: '2022.02.28T15.49.13.addColumnsToUserTable.ts'
}
Executing (e684de26-fa9d-4912-83a2-ed2b90f43e4f): BEGIN DEFERRED TRANSACTION;
Executing (default): PRAGMA TABLE_INFO(`users`);
Executing (default): PRAGMA INDEX_LIST(`users`)
Executing (default): PRAGMA INDEX_INFO(`users_username`)
Executing (default): PRAGMA INDEX_INFO(`users_email`)
Executing (default): PRAGMA foreign_key_list(`users`)
Executing (default): CREATE TABLE IF NOT EXISTS `users_backup` (`id` INTEGER PRIMARY KEY, `username` VARCHAR(32) NOT NULL UNIQUE, `email` VARCHAR(255) NOT NULL UNIQUE, `password` VARCHAR(255) NOT NULL);
Executing (default): INSERT INTO `users_backup` SELECT `id`, `username`, `email`, `password` FROM `users`;
Executing (default): DROP TABLE `users`;
Executing (default): CREATE TABLE IF NOT EXISTS `users` (`id` INTEGER PRIMARY KEY, `username` VARCHAR(32) NOT NULL UNIQUE, `email` VARCHAR(255) NOT NULL UNIQUE, `password` VARCHAR(255) NOT NULL);
Executing (default): INSERT INTO `users` SELECT `id`, `username`, `email`, `password` FROM `users_backup`;
Executing (default): DROP TABLE `users_backup`;
Executing (e684de26-fa9d-4912-83a2-ed2b90f43e4f): COMMIT;
Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);
Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)
Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)
Executing (default): DELETE FROM `SequelizeMeta` WHERE `name` = '2022.02.28T15.49.12.addColumnsToUserTable.ts'
{
event: 'reverted',
name: '2022.02.28T15.49.13.addColumnsToUserTable.ts',
durationSeconds: 0.143
}
{ event: 'down', message: 'reverted 1 migrations.' }

$ ./node_modules/.bin/ts-node migrate.ts down

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): SELECT `name` FROM `SequelizeMeta` AS `SequelizeMeta` ORDER BY `SequelizeMeta`.`name` ASC;

{

event: 'reverting',

}

Executing (e684de26-fa9d-4912-83a2-ed2b90f43e4f): BEGIN DEFERRED TRANSACTION;

Executing (default): PRAGMA TABLE_INFO(`users`);

Executing (default): PRAGMA INDEX_LIST(`users`)

Executing (default): PRAGMA INDEX_INFO(`users_username`)

Executing (default): PRAGMA INDEX_INFO(`users_email`)

Executing (default): PRAGMA foreign_key_list(`users`)

Executing (default): CREATE TABLE IF NOT EXISTS `users_backup` (`id` INTEGER PRIMARY KEY, `username` VARCHAR(32) NOT NULL UNIQUE, `email` VARCHAR(255) NOT NULL UNIQUE, `password` VARCHAR(255) NOT NULL);

Executing (default): INSERT INTO `users_backup` SELECT `id`, `username`, `email`, `password` FROM `users`;

Executing (default): DROP TABLE `users`;

Executing (default): CREATE TABLE IF NOT EXISTS `users` (`id` INTEGER PRIMARY KEY, `username` VARCHAR(32) NOT NULL UNIQUE, `email` VARCHAR(255) NOT NULL UNIQUE, `password` VARCHAR(255) NOT NULL);

Executing (default): INSERT INTO `users` SELECT `id`, `username`, `email`, `password` FROM `users_backup`;

Executing (default): DROP TABLE `users_backup`;

Executing (e684de26-fa9d-4912-83a2-ed2b90f43e4f): COMMIT;

Executing (default): CREATE TABLE IF NOT EXISTS `SequelizeMeta` (`name` VARCHAR(255) NOT NULL UNIQUE PRIMARY KEY);

Executing (default): PRAGMA INDEX_LIST(`SequelizeMeta`)

Executing (default): PRAGMA INDEX_INFO(`sqlite_autoindex_SequelizeMeta_1`)

Executing (default): DELETE FROM `SequelizeMeta` WHERE `name` = '2022.02.28T15.49.12.addColumnsToUserTable.ts'

{

event: 'reverted',

durationSeconds: 0.143

}

{ event: 'down', message: 'reverted 1 migrations.' }

最後に適用したaddColumnsToUserTableが打ち消されます。

まとめ

umzugを使うと、Sequelizeを使ったDBマイグレーションのプログラムを独自に実装できます。
umzug#runAsCLI()を使うと、コマンドラインのマイグレーションプログラムを容易に実行することができます。

参考リンク

Sequelize ORM
- https://sequelize.org
umzug
- https://github.com/sequelize/umzug
sequelize/cli
- https://github.com/sequelize/cli
- https://sequelize.org/master/manual/migrations.html

Nuxt3をさわってみる

コメントを残す

Nuxt3はbeta版になっている、Nuxt3の雰囲気をつかむためインストールから起動するところまでやってみる。

インストール

nuxiという新しいCLIを使う。

npx nuxi init nuxt3-app
cd nuxt3-app
npm install

npx nuxi init nuxt3-app

cd nuxt3-app

npm install

nuxiについて、プロジェクトのトップでinfoコマンドを実行してみる。

$ npx nuxi info
Nuxt CLI v3.0.0-27389502.88da719
RootDir: /Users/guests/workspace/nuxt/nuxt3-app
Nuxt project info:
------------------------------
- Operating System: `Darwin`
- Node Version:     `v16.13.2`
- Nuxt Version:     `3.0.0-27389502.88da719`
- Package Manager:  `npm@8.1.2`
- Bundler:          `Vite`
- User Config:      `-`
- Runtime Modules:  `-`
- Build Modules:    `-`
------------------------------
👉 Report an issue: https://github.com/nuxt/framework/issues/new
👉 Suggest an improvement: https://github.com/nuxt/framework/discussions/new
👉 Read documentation: https://v3.nuxtjs.org

$ npx nuxi info

Nuxt CLI v3.0.0-27389502.88da719

RootDir: /Users/guests/workspace/nuxt/nuxt3-app

Nuxt project info:

------------------------------

- Operating System: `Darwin`

- Node Version: `v16.13.2`

- Nuxt Version: `3.0.0-27389502.88da719`

- Package Manager: `npm@8.1.2`

- Bundler: `Vite`

- User Config: `-`

- Runtime Modules: `-`

- Build Modules: `-`

------------------------------

👉 Report an issue: https://github.com/nuxt/framework/issues/new

👉 Suggest an improvement: https://github.com/nuxt/framework/discussions/new

👉 Read documentation: https://v3.nuxtjs.org

ディレクトリ構造

initした直後は以下の感じ。Nuxt2までのようなlayoutsやpagesのようなディレクトリがなく、プロジェクト作成直後はとてもすっきりしている。

$ ls -a | sort
.
..
.gitignore
README.md
app.vue
node_modules
nuxt.config.ts
package-lock.json
package.json
tsconfig.json

$ ls -a | sort

.gitignore

README.md

app.vue

node_modules

nuxt.config.ts

package-lock.json

package.json

tsconfig.json

ドキュメントを見ると、今までのようなlayoutsやpagesといったディレクトリは、Nuxt3でも有効であることが分かる。これらは、アプリの特性に合わせて作成すればよいのだと思う。なお、ディレクトリについては、pluginsディレクトリ下のプラグインファイルが自動で読み込まれるなど新しい点もあるので注意したい。

参考リンク

https://v3.nuxtjs.org/docs/usage/data-fetching

アプリ起動

この状態でrun devするとWelcomeビューが表示される。

httpsオプションで自己署名証明書を使ってhttpsモードで起動ができる。Nuxt2では、nuxt.configのserverオプションで指定していたと思うけれど、この辺りとても簡単になっている。

npm run dev -- --https

1	npm run dev -- --https

Welcomeビューを変更するには、app.vueを編集するか、pages/index.vueのような新たなビューを作る。

srcDirの変更

公式ドキュメントにあるようなclientの下にアプリリソースを配置する構成にしてみる。ディレクトリを作成し、nuxt.configのsrcDirにclientリソースを格納するディレクトリを指定、そして今ままでのようなlayoutsやpagesにビューを作成する。

mkdir -p client/{assets,components,composables,layouts,middleware,pages,plugins}
rm app.vue

1 2	mkdir -p client/{assets,components,composables,layouts,middleware,pages,plugins} rm app.vue

// nuxt.config.ts
import { defineNuxtConfig } from "nuxt3";
export default defineNuxtConfig({
srcDir: "client/",
});

// nuxt.config.ts

import { defineNuxtConfig } from "nuxt3";

export default defineNuxtConfig({

srcDir: "client/",

});

<template>
<div>page/index.vue</div>
</template>

<div>page/index.vue</div>

</template>

<template>
<div>
<h1>Nuxt3</h1>
<slot />
</div>
</template>

<div>

</div>

</template>

上記の変更を加え、改めてrun devしてみると以下のように作成したビューが表示されることを確認できる。

npm run dev

1	npm run dev

参考リンク

https://v3.nuxtjs.org/getting-started/commands

Mattermost Dockerのconfig.jsonの指定

コメントを残す

Mattermostのdockerコンテナで、mattermostコマンドを使って設定更新操作を行なうと、あらかじめ作成しておいたconfig.jsonが何故が初期化されてしまう事象に遭遇してしまった、？？。（再現性を確認できていないが、pluginをenableやdeleteして何らかのschedulerが動くタイミングで発生している？）

そこで、本記事ではMattermostの設定方法について整理する。

本動作検証バージョンはv5.37.4である。

MattermostのConfiguration

Mattermostは、設定情報をconfig.jsonファイルで管理する。通常、mattermost/configディレクトリにあるconfig.jsonファイルが対象となる。環境変数MM_CONFIGでconfig.jsonファイルのパスを指定することもできる。設定情報は、System Consoleや直接ファイルを編集することで更新できる。設定を更新するとconfigの変更を検知してリロードしてくれる。

v.5.10からはデータベースで構成管理をすることができる。

ファイルで管理する場合

環境変数MM_CONFIGにconfig.jsonファイルのパスを指定する。指定がない場合は、config/config.jsonが対象となる。

MM_CONFIG=/path/to/config.json

1	MM_CONFIG=/path/to/config.json

ローカルテスト環境で起動する場合は、以下のようにする。Dockerコンテナ環境が必要である。macであれば、Docker Desktop For Mac（個人利用は無料：ライセンスは公式を確認のこと）を使うとよいだろう。

# バックグラウンド起動（デフォルト）
$ make run-server
# バックグラウンド起動しない場合
$ make RUN_IN_BACKGROUND=false run-server

# バックグラウンド起動（デフォルト）

$ make run-server

# バックグラウンド起動しない場合

$ make RUN_IN_BACKGROUND=false run-server

参考：Setting up Your Development Environment – Mattermost

データベースで管理する場合

MM_CONFIGにDatabase DSNを指定する。mysqlの場合は以下のようになる。

MM_CONFIG='mysql://mmuser:mostest@tcp(localhost:3306)/mattermost_test?charset=utf8mb4,utf8&readTimeout=30s&writeTimeout=30s&multiStatements=true'

1	MM_CONFIG='mysql://mmuser:mostest@tcp(localhost:3306)/mattermost_test?charset=utf8mb4,utf8&readTimeout=30s&writeTimeout=30s&multiStatements=true'

参考：Configuration in the Mattermost Database

起動時にカスタムのデフォルト設定を適用したい場合は、以下の環境変数を指定する。

export MM_CUSTOM_DEFAULTS_PATH=/path/to/custom.json

1	export MM_CUSTOM_DEFAULTS_PATH=/path/to/custom.json

現在有効な設定はデーターベースに接続して確認できる。

select Id, CreateAt, Value, Active from Configurations where Active = 1 \G

1	select Id, CreateAt, Value, Active from Configurations where Active = 1 \G

mattermostコマンドでconfigを更新してみる。

./bin/mattermost config set ServiceSettings.IdleTimeout 8080

1	./bin/mattermost config set ServiceSettings.IdleTimeout 8080

データベースのConfigurationsのレコード件数を見ると新たにレコードが増えていることが分かる。

mysql> select count(*) from Configurations; 
+----------+
| count(*) |
+----------+
|        6 |
+----------+
1 row in set (0.00 sec)
mysql> select count(*) from Configurations;
+----------+
| count(*) |
+----------+
|        7 |
+----------+
1 row in set (0.00 sec)

mysql> select count(*) from Configurations;

+----------+

| count(*) |

+----------+

| 6 |

+----------+

1 row in set (0.00 sec)

mysql> select count(*) from Configurations;

+----------+

| count(*) |

+----------+

| 7 |

+----------+

1 row in set (0.00 sec)

値も反映されている。

mysql> select Id, CreateAt, Value, Active from Configurations where Active = 1 \G
*************************** 1. row ***************************
Id: qoo1g868jp8s58318rxeeyxr1h
CreateAt: 1639889307586
Value: {
"ServiceSettings": {
"SiteURL": "",
"WebsocketURL": "",
"LicenseFileLocation": "",
"ListenAddress": ":8065",
"ConnectionSecurity": "",
"TLSCertFile": "",
"TLSKeyFile": "",
"TLSMinVer": "1.2",
"TLSStrictTransport": false,
"TLSStrictTransportMaxAge": 63072000,
"TLSOverwriteCiphers": [],
"UseLetsEncrypt": false,
"LetsEncryptCertificateCacheFile": "./config/letsencrypt.cache",
"Forward80To443": false,
"TrustedProxyIPHeader": [
"X-Forwarded-For",
"X-Real-IP"
],
"ReadTimeout": 300,
"WriteTimeout": 300,
"IdleTimeout": 8080,
...省略

mysql> select Id, CreateAt, Value, Active from Configurations where Active = 1 \G

*************************** 1. row ***************************

Id: qoo1g868jp8s58318rxeeyxr1h

CreateAt: 1639889307586

Value: {

"ServiceSettings": {

"SiteURL": "",

"WebsocketURL": "",

"LicenseFileLocation": "",

"ListenAddress": ":8065",

"ConnectionSecurity": "",

"TLSCertFile": "",

"TLSKeyFile": "",

"TLSMinVer": "1.2",

"TLSStrictTransport": false,

"TLSStrictTransportMaxAge": 63072000,

"TLSOverwriteCiphers": [],

"UseLetsEncrypt": false,

"LetsEncryptCertificateCacheFile": "./config/letsencrypt.cache",

"Forward80To443": false,

"TrustedProxyIPHeader": [

"X-Forwarded-For",

"X-Real-IP"

"ReadTimeout": 300,

"WriteTimeout": 300,

"IdleTimeout": 8080,

...省略

configファイルの変更検知を停止する

Mattermostでは、構成の変更を検知するconfig watcherが動いており、構成情報の変更を検知して反映する。本機能を止めるには、以下のオプションを起動時に指定する。

--disableconfigwatch

1	--disableconfigwatch

config watcherを停止して何度かmattermostコマンドでpluginのenable/deleteを繰り返した限りでは、config.jsonの予期せぬ上書きに遭遇はしなかった。

なお、v5.38からはconfig.jsonの自動リロードはDeprecatedとなっているようである。設定のリロードは、mmctlコマンドで明示的に行なう、となっている。（以下リンクより）

参考：Configuration Settings

今後は、configの変更後、mmctlコマンド（mmctl config reload）で反映という手順になるのであろう。

なお、config watcherを停止した場合、configの変更はmmctlコマンドでリロードしないと反映されなかった。これは、データベース管理でも同様であった。config watcherを停止した場合は、反映漏れがないように気をつけたい。

参考

https://developers.mattermost.com/contribute/server/developer-setup/
https://github.com/mattermost/mattermost-server/blob/v5.37.4/config/store.go#L94
config.jsonの上書きに関連するissue（最新情報は公式を参照のこと）
- https://github.com/mattermost/mattermost-server/issues/16607
- https://forum.mattermost.org/t/mattermost-resets-config-file-periodically-on-startup/11116/15

nginx http/3を動かす

コメントを残す

NginxでHTTP/3を動かしてみます。HTTP/3はQUICというプロトコルに基づいているようです。詳しくは理解していないので追々学んでいきたいと思います。まずは、ローカルで動かしてどのようなデータやり取りが行われているのかwiresharkで覗くところから。

Dockerコンテナでビルドします。gistでレシピが公開されているのでそれに倣います。

ビルドすると以下のエラーとなってしまいました。

#13 58.57 auto/configure: error: invalid option "--with-http_quic_module"

1	#13 58.57 auto/configure: error: invalid option "--with-http_quic_module"

どうも上記のオプションは--with-http_v3_moduleに統合された？ようなので削除します。

参考：　https://hg.nginx.org/nginx-quic/rev/33226ac61076

最終的に以下のようにしました。

FROM nginx:1.21.4 AS build
WORKDIR /src
RUN apt-get update && \
apt-get install -y git gcc make g++ cmake perl libunwind-dev golang && \
git clone https://boringssl.googlesource.com/boringssl && \
mkdir boringssl/build && \
cd boringssl/build && \
cmake .. && \
make
RUN apt-get install -y mercurial libperl-dev libpcre3-dev zlib1g-dev libxslt1-dev libgd-ocaml-dev libgeoip-dev && \
hg clone https://hg.nginx.org/nginx-quic   && \
hg clone http://hg.nginx.org/njs -r "0.6.2" && \
cd nginx-quic && \
hg update quic && \
auto/configure `nginx -V 2>&1 | sed "s/ \-\-/ \\\ \n\t--/g" | grep "\-\-" | grep -ve opt= -e param= -e build=` \
--build=nginx-quic --with-debug  \
--with-http_v3_module --with-stream_quic_module \
--with-cc-opt="-I/src/boringssl/include" --with-ld-opt="-L/src/boringssl/build/ssl -L/src/boringssl/build/crypto" && \
make
FROM nginx:1.21.4
COPY nginx.conf /etc/nginx/nginx.conf
RUN mkdir -p /certs
# https://letsencrypt.org/docs/certificates-for-localhost/
COPY localhost.crt /certs/localhost.crt
COPY localhost.key /certs/localhost.key
COPY --from=build /src/nginx-quic/objs/nginx /usr/sbin
RUN /usr/sbin/nginx -V
EXPOSE 10443

FROM nginx:1.21.4 AS build

WORKDIR /src

RUN apt-get update && \

apt-get install -y git gcc make g++ cmake perl libunwind-dev golang && \

git clone https://boringssl.googlesource.com/boringssl && \

mkdir boringssl/build && \

cd boringssl/build && \

cmake .. && \

make

RUN apt-get install -y mercurial libperl-dev libpcre3-dev zlib1g-dev libxslt1-dev libgd-ocaml-dev libgeoip-dev && \

hg clone https://hg.nginx.org/nginx-quic && \

hg clone http://hg.nginx.org/njs -r "0.6.2" && \

cd nginx-quic && \

hg update quic && \

auto/configure `nginx -V 2>&1 | sed "s/ \-\-/ \\\ \n\t--/g" | grep "\-\-" | grep -ve opt= -e param= -e build=` \

--build=nginx-quic --with-debug \

--with-http_v3_module --with-stream_quic_module \

--with-cc-opt="-I/src/boringssl/include" --with-ld-opt="-L/src/boringssl/build/ssl -L/src/boringssl/build/crypto" && \

make

FROM nginx:1.21.4

COPY nginx.conf /etc/nginx/nginx.conf

RUN mkdir -p /certs

# https://letsencrypt.org/docs/certificates-for-localhost/

COPY localhost.crt /certs/localhost.crt

COPY localhost.key /certs/localhost.key

COPY --from=build /src/nginx-quic/objs/nginx /usr/sbin

RUN /usr/sbin/nginx -V

EXPOSE 10443

nginx.conf

user  nginx;
worker_processes  1;
events {
worker_connections 1024;
}
error_log  /var/log/nginx/error.log notice;
pid        /var/run/nginx.pid;
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
log_format quic '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent" "$http3"';
root /usr/share/nginx/html;
access_log /var/log/nginx/access.log quic;
server {
# for better compatibility it's recommended
# to use the same port for quic and https
listen 10443 http3 reuseport;
listen 10443 ssl http2;
ssl_certificate /certs/localhost.crt;
ssl_certificate_key /certs/localhost.key;
ssl_protocols TLSv1.3;
location / {
# required for browsers to direct them into quic port
add_header Alt-Svc 'h3=":10443";h3-29=":10443"; ma=86400';
}
}
}

user nginx;

worker_processes 1;

events {

worker_connections 1024;

}

error_log /var/log/nginx/error.log notice;

pid /var/run/nginx.pid;

http {

include mime.types;

default_type application/octet-stream;

sendfile on;

log_format quic '$remote_addr - $remote_user [$time_local] '

'"$request" $status $body_bytes_sent '

'"$http_referer" "$http_user_agent" "$http3"';

root /usr/share/nginx/html;

access_log /var/log/nginx/access.log quic;

server {

# for better compatibility it's recommended

# to use the same port for quic and https

listen 10443 http3 reuseport;

listen 10443 ssl http2;

ssl_certificate /certs/localhost.crt;

ssl_certificate_key /certs/localhost.key;

ssl_protocols TLSv1.3;

location / {

# required for browsers to direct them into quic port

add_header Alt-Svc 'h3=":10443";h3-29=":10443"; ma=86400';

}

ビルドしてコンテナ起動します。

$ openssl req -x509 -out localhost.crt -keyout localhost.key   -newkey rsa:2048 -nodes -sha256   -subj '/CN=localhost' -extensions EXT -config <( \
printf "[dn]\nCN=localhost\n[req]\ndistinguished_name = dn\n[EXT]\nsubjectAltName=DNS:localhost\nkeyUsage=digitalSignature\nextendedKeyUsage=serverAuth")
$ docker build -t nginx-http3 .
$ docker run -it -p 10443:10443 -p 10443:10443/udp --rm --name http3 nginx-http3:latest
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
/docker-entrypoint.sh: Launching /docker-entrypoint.d/10-listen-on-ipv6-by-default.sh
10-listen-on-ipv6-by-default.sh: info: Getting the checksum of /etc/nginx/conf.d/default.conf
10-listen-on-ipv6-by-default.sh: info: Enabled listen on IPv6 in /etc/nginx/conf.d/default.conf
/docker-entrypoint.sh: Launching /docker-entrypoint.d/20-envsubst-on-templates.sh
/docker-entrypoint.sh: Launching /docker-entrypoint.d/30-tune-worker-processes.sh
/docker-entrypoint.sh: Configuration complete; ready for start up
2021/12/16 15:25:28 [notice] 1#1: using the "epoll" event method
2021/12/16 15:25:28 [notice] 1#1: nginx/1.21.4 (nginx-quic)
2021/12/16 15:25:28 [notice] 1#1: built by gcc 10.2.1 20210110 (Debian 10.2.1-6) 
2021/12/16 15:25:28 [notice] 1#1: OS: Linux 5.10.47-linuxkit
2021/12/16 15:25:28 [notice] 1#1: getrlimit(RLIMIT_NOFILE): 1048576:1048576
2021/12/16 15:25:28 [notice] 1#1: start worker processes
2021/12/16 15:25:28 [notice] 1#1: start worker process 31

$ openssl req -x509 -out localhost.crt -keyout localhost.key -newkey rsa:2048 -nodes -sha256 -subj '/CN=localhost' -extensions EXT -config <( \

printf "[dn]\nCN=localhost\n[req]\ndistinguished_name = dn\n[EXT]\nsubjectAltName=DNS:localhost\nkeyUsage=digitalSignature\nextendedKeyUsage=serverAuth")

$ docker build -t nginx-http3 .

$ docker run -it -p 10443:10443 -p 10443:10443/udp --rm --name http3 nginx-http3:latest

/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration

/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/

/docker-entrypoint.sh: Launching /docker-entrypoint.d/10-listen-on-ipv6-by-default.sh

10-listen-on-ipv6-by-default.sh: info: Getting the checksum of /etc/nginx/conf.d/default.conf

10-listen-on-ipv6-by-default.sh: info: Enabled listen on IPv6 in /etc/nginx/conf.d/default.conf

/docker-entrypoint.sh: Launching /docker-entrypoint.d/20-envsubst-on-templates.sh

/docker-entrypoint.sh: Launching /docker-entrypoint.d/30-tune-worker-processes.sh

/docker-entrypoint.sh: Configuration complete; ready for start up

2021/12/16 15:25:28 [notice] 1#1: using the "epoll" event method

2021/12/16 15:25:28 [notice] 1#1: nginx/1.21.4 (nginx-quic)

2021/12/16 15:25:28 [notice] 1#1: built by gcc 10.2.1 20210110 (Debian 10.2.1-6)

2021/12/16 15:25:28 [notice] 1#1: OS: Linux 5.10.47-linuxkit

2021/12/16 15:25:28 [notice] 1#1: getrlimit(RLIMIT_NOFILE): 1048576:1048576

2021/12/16 15:25:28 [notice] 1#1: start worker processes

2021/12/16 15:25:28 [notice] 1#1: start worker process 31

curlでアクセスしてみます。

$ docker run -it --rm ymuski/curl-http3 curl -k -IL https://192.168.3.5:10443 --http3
HTTP/3 200
server: nginx/1.21.4
date: Thu, 16 Dec 2021 15:20:57 GMT
content-type: text/html
content-length: 615
last-modified: Tue, 02 Nov 2021 14:49:22 GMT
etag: "61814ff2-267"
alt-svc: h3=":10443";h3-29=":10443"; ma=86400
accept-ranges: bytes

$ docker run -it --rm ymuski/curl-http3 curl -k -IL https://192.168.3.5:10443 --http3

HTTP/3 200

server: nginx/1.21.4

date: Thu, 16 Dec 2021 15:20:57 GMT

content-type: text/html

content-length: 615

last-modified: Tue, 02 Nov 2021 14:49:22 GMT

etag: "61814ff2-267"

alt-svc: h3=":10443";h3-29=":10443"; ma=86400

accept-ranges: bytes

172.17.0.1 - - [16/Dec/2021:15:37:53 +0000] "HEAD / HTTP/3.0" 200 149 "-" "curl/7.76.1-DEV" "h3"

1	172.17.0.1 - - [16/Dec/2021:15:37:53 +0000] "HEAD / HTTP/3.0" 200 149 "-" "curl/7.76.1-DEV" "h3"

RFC9000 https://www.rfc-editor.org/rfc/rfc9000.html

参考

WiresharkのTLS Record Layerのhttp-over-tls

コメントを残す

WiresharkでTLS Layerのパケットを調べていた時に、表示されていたプロトコルが何を指しているのか疑問になったので調べてみた。

具体的には以下に表示されている部分である。HTTPでないプロトコルだと思っていたけれどhttp-over-tlsと表示されていたので、HTTP？？と思ってしまった。Record部分は、暗号化されていて読めないはずなのに何故HTTPと分かったのか？、という疑問である。

ポート番号で判断している？

もし、パケットの中身を見てHTTPと判断しているのならば、ポート番号を変えてアクセスしてもhttp-over-tlsと表示されるはずである。

ということで試してみた。

Dst Portを8443としてみた。ApacheでListen 8443 httpsと設定し自己署名証明書をセットしてある。

結果、http-over-tlsと表示されてはいなかった。実際には、Webブラウザで、Webページhttps://<address>:8443/にアクセスしているので、HTTPプロトコルでデータを送受信しているはずである。このことから、Wiresharkはポートのみで判断して表示しているのではと推測できる。

Wiresharkのプロトコル解釈に関する記事

検索するとPortで判断しているような記述があり、その線が濃厚そうだ。

Wiresharkのソースはどうなってる？

念のためソースも少し確認しておく。大まかな予想をつけてソースを眺めてみる。以下の箇所がTLSデータの情報表示部分だと思われる。

case SSL_ID_APP_DATA:
{
dissector_handle_t app_handle;
/* show on info column what we are decoding */
col_append_sep_str(pinfo->cinfo, COL_INFO, NULL, "Application Data");
/* app_handle discovery is done here instead of dissect_ssl_payload()
* because the protocol name needs to be displayed below. */
app_handle = session->app_handle;
if (!app_handle) {
/* Unknown protocol handle, ssl_starttls_ack was not called before.
* Try to find a port-based protocol and use it if there is no
* heuristics dissector (see process_ssl_payload). */
app_handle = dissector_get_uint_handle(ssl_associations, pinfo->srcport);
if (!app_handle) app_handle = dissector_get_uint_handle(ssl_associations, pinfo->destport);
}
proto_item_set_text(ssl_record_tree,
"%s Record Layer: %s Protocol: %s",
val_to_str_const(version, ssl_version_short_names, "SSL"),
val_to_str_const(content_type, ssl_31_content_type, "unknown"),
app_handle ? dissector_handle_get_dissector_name(app_handle)
: "Application Data");
proto_tree_add_item(ssl_record_tree, hf_tls_record_appdata, tvb,
offset, record_length, ENC_NA);

case SSL_ID_APP_DATA:

{

dissector_handle_t app_handle;

/* show on info column what we are decoding */

col_append_sep_str(pinfo->cinfo, COL_INFO, NULL, "Application Data");

/* app_handle discovery is done here instead of dissect_ssl_payload()

* because the protocol name needs to be displayed below. */

app_handle = session->app_handle;

if (!app_handle) {

/* Unknown protocol handle, ssl_starttls_ack was not called before.

* Try to find a port-based protocol and use it if there is no

* heuristics dissector (see process_ssl_payload). */

app_handle = dissector_get_uint_handle(ssl_associations, pinfo->srcport);

if (!app_handle) app_handle = dissector_get_uint_handle(ssl_associations, pinfo->destport);

}

proto_item_set_text(ssl_record_tree,

"%s Record Layer: %s Protocol: %s",

val_to_str_const(version, ssl_version_short_names, "SSL"),

val_to_str_const(content_type, ssl_31_content_type, "unknown"),

app_handle ? dissector_handle_get_dissector_name(app_handle)

: "Application Data");

proto_tree_add_item(ssl_record_tree, hf_tls_record_appdata, tvb,

offset, record_length, ENC_NA);

プロトコルのTreeの部分に表示されている%s Record Layer: %s Protocol: %sの部分が該当箇所であろう。http-over-tlsの表示箇所であるdissector_handle_get_dissector_nameを追ってみると、以下のようになっており、app_handleの変数nameのポインタを返している。

/* Get a dissector name from handle. */
const char *
dissector_handle_get_dissector_name(const dissector_handle_t handle)
{
if (handle == NULL) {
return NULL;
}
return handle->name;
}

/* Get a dissector name from handle. */

const char *

dissector_handle_get_dissector_name(const dissector_handle_t handle)

{

if (handle == NULL) {

return NULL;

}

return handle->name;

}

app_handleは、以下の部分で設定されているようである。

/* app_handle discovery is done here instead of dissect_ssl_payload()
* because the protocol name needs to be displayed below. */
app_handle = session->app_handle;
if (!app_handle) {
/* Unknown protocol handle, ssl_starttls_ack was not called before.
* Try to find a port-based protocol and use it if there is no
* heuristics dissector (see process_ssl_payload). */
app_handle = dissector_get_uint_handle(ssl_associations, pinfo->srcport);
if (!app_handle) app_handle = dissector_get_uint_handle(ssl_associations, pinfo->destport);
}

/* app_handle discovery is done here instead of dissect_ssl_payload()

* because the protocol name needs to be displayed below. */

app_handle = session->app_handle;

if (!app_handle) {

/* Unknown protocol handle, ssl_starttls_ack was not called before.

* Try to find a port-based protocol and use it if there is no

* heuristics dissector (see process_ssl_payload). */

app_handle = dissector_get_uint_handle(ssl_associations, pinfo->srcport);

if (!app_handle) app_handle = dissector_get_uint_handle(ssl_associations, pinfo->destport);

}

pinfo->srcport、pinfo->destportの値をもとにapp_handleを決定しているように見える。portの値をもとに決定しているとすると、ここに443の数値を入れると、http-over-tlsとなるはず。

以下のようにソース修正しビルドしてみる。

/* app_handle discovery is done here instead of dissect_ssl_payload()
* because the protocol name needs to be displayed below. */
app_handle = session->app_handle;
if (!app_handle)
{
/* Unknown protocol handle, ssl_starttls_ack was not called before.
* Try to find a port-based protocol and use it if there is no
* heuristics dissector (see process_ssl_payload). */
app_handle = dissector_get_uint_handle(ssl_associations, pinfo->srcport);
if (!app_handle)
app_handle = dissector_get_uint_handle(ssl_associations, 443); // destを443にする
}
proto_item_set_text(ssl_record_tree,
"%s Record Layer: %s Protocol: %s dst = %d src = %d",
val_to_str_const(version, ssl_version_short_names, "SSL"),
val_to_str_const(content_type, ssl_31_content_type, "unknown"),
app_handle ? dissector_handle_get_dissector_name(app_handle)
: "Application Data (unknown)",
pinfo->destport, pinfo->srcport
);

/* app_handle discovery is done here instead of dissect_ssl_payload()

* because the protocol name needs to be displayed below. */

app_handle = session->app_handle;

if (!app_handle)

{

/* Unknown protocol handle, ssl_starttls_ack was not called before.

* Try to find a port-based protocol and use it if there is no

* heuristics dissector (see process_ssl_payload). */

app_handle = dissector_get_uint_handle(ssl_associations, pinfo->srcport);

if (!app_handle)

app_handle = dissector_get_uint_handle(ssl_associations, 443); // destを443にする

}

proto_item_set_text(ssl_record_tree,

"%s Record Layer: %s Protocol: %s dst = %d src = %d",

val_to_str_const(version, ssl_version_short_names, "SSL"),

val_to_str_const(content_type, ssl_31_content_type, "unknown"),

app_handle ? dissector_handle_get_dissector_name(app_handle)

: "Application Data (unknown)",

pinfo->destport, pinfo->srcport

);

上記ではDestPortを443にしている。結果は以下のとおりとなった。DestPortは60881であるがhttp-over-tlsと表示されている。SrcPortのケースも同様に443とすると、http-over-tlsと表示されることが分かった。

TLSのレコードプロトコル

念のためTLSのレコードプロトコル構造を確認しておく。上位レイヤであるHTTPのヘッダとボディのデータはペイロードに含まれる。

TCPヘッダ
- Content-Type（1 Byte）
- Version（2 Bytes）
- Length（2 Bytes）
- ペイロード
MAC

まとめ

WiresharkのTLSレコードのhttp-over-tlsの表示は、SrcまたはDestのPortを見て決定している。

ただし、session->app_handleが決定済みのケースは、今回追っていない。

デバッグライフ

プログラミングや日常の記録など

「IT」カテゴリーアーカイブ

Node.jsでumzug+SequelizeによるDBマイグレーション

Sequelizeのmigration

umzug

テスト環境の準備

最小サンプル

TypeScriptファイルの雛形からマイグレーションファイルを生成する

マイグレーションファイルのOrder

その他の使用方法

ペンディング中のマイグレーションの取得

適用済みのマイグレーションの取得

マイグレーションの巻き戻し

まとめ

参考リンク

Nuxt3をさわってみる

インストール

ディレクトリ構造

アプリ起動

srcDirの変更

参考リンク

Mattermost Dockerのconfig.jsonの指定

MattermostのConfiguration

ファイルで管理する場合

データベースで管理する場合

configファイルの変更検知を停止する

参考

nginx http/3を動かす

参考

WiresharkのTLS Record Layerのhttp-over-tls

ポート番号で判断している？

Wiresharkのソースはどうなってる？

TLSのレコードプロトコル

まとめ

参考