この連載はOSSコンソーシアム データベース部会のメンバーがオープンソースデータベースの毎月の出来事をお伝えしています。

国産の新DBエンジン開発プロジェクト Project Tsurugi（劔）

Project Tsurugi（劔）とは

Project Tsurugi（劔）は、国産の新DBエンジンを開発するプロジェクトです。外部インタフェースはPostgreSQL互換になるようですが、これは羊の皮ならぬ象の皮を被っているだけで、中身はまったく新規の強力なDBエンジンをめざして開発が進んでいます。「⁠『⁠次世代のRDB』として、従来のRDBを包含した上で、より広い／ハイパフォーマンスな“⁠RDBの概念を押し広げるミドルウェア⁠”⁠」になりつつあります。OSSコンソーシアムでは分散コンピューティング部会が関わっています。また、データベース部会による2019年の第3回データベース比較セミナーにお招きした際には「Tsurugi（劔⁠）⁠」という名称が初めて発表されました。このプロジェクトの概要は、OSSコンソーシアム分散コンピューティング部会のWebページから参照いただけます。

Project Tsurugi（劔）経過報告会が10月11日開催

このProject Tsurugiは現在も開発が継続中で、来年2022年にα版公開が予定されていますが、その経過報告が10月11日にオンラインで開催されます。プロジェクトは新DBエンジンの開発を行っているのはもちろんですが、従来のDBエンジンでは実現できなかったアプリケーションの実現にも挑戦しています。前半の民間2社と4大学による発表では、これまでの限界を超えるDBエンジンを実現する技術の一端が垣間見えるでしょう。また、後半には、このDBエンジンによって可能になるアプリケーション分野がいくつか紹介されます。災害対策時に大量のデータを迅速に処理する試みや、国立天文台による膨大な観測データの処理などが発表されるものと予想されます。

オンラインで密は避けつつ、しかし内容は超高密度な報告会になるだろうと思いますが、国内で行われている大きな挑戦の熱気を感じられる貴重な機会となるでしょう。

［MySQL］2021年9月の主な出来事

2021年9月のMySQLの製品リリースはありませんでした。SQL処理の高速化エンジンであるMySQL HeatWaveの8.0.26-u2がリリースされ、メモリ内のブロックサイズが512KBから4MBに拡張されたほか、全体としての性能向上が行われています。またCAST（FLOAT as DECIMAL）とCAST（DOUBLE as DECIMAL）のサポートなどが追加されています。

MySQL HeatWaveによるオブジェクトストレージの利用

2021年8月にリリースされたバージョンのMySQL HeatWaveでは、第73回でご紹介した機械学習を活用した自動化機能Autopilotに加えて、オブジェクトストレージとの連携機能が追加されています。

MySQL HeatWaveは、MySQLサーバー上のテーブルデータを、パーティションに分けて複数台のHeatWaveノードのメインメモリに分散配置します。それぞれのHeatWaveノードのデータを、暗号化してオブジェクトストレージに格納する機能が利用可能となっています。

HeatWaveノードに障害が発生した場合、復旧したノードに自動的にデータをロードするAuto Error Recoveryという仕組みが用意されています。従来はMySQLサーバーからデータをロードしていました。新たに実装されたオブジェクトストレージとの連携により、復旧時にオブジェクトストレージ上のデータをロードできるようになりました。メモリ上のデータ構造そのままをロードでき、ロード時間の短縮が図れます。パーティションそれぞれを独立して並列でオブジェクトストレージからロードすることも可能なため、データサイズが大きくなってもロード時間が大きくならない仕組みです。

現時点では障害からの復旧時にのみオブジェクトストレージを利用していますが、短期的なロードマップとしてはHeatWaveノードの再起動時やパッチ適用時、単にデータのリロードを行う際などにも利用する方向となっています。

データ変更の展開タイミングを自動調整 ―Auto Change Propagation

MySQLサーバー上で変更されたデータは自動的にHeatWaveノードに反映されます。反映されるタイミングはいかのいずれかの条件に合致した場合です。

• 200ミリ秒ごと
• データ変更サイズが64MB超
• 変更されたテーブルへのSELECT文実行

最後の条件によりアプリケーションの観点ではRead Committedの断面のデータに対してSELECT文がHeatWaveノード上で実行されるようになっています。

一方でHeatWaveノードからオブジェクトストレージへの変更内容の反映タイミングは、Autopilotの一機能であるAuto Change Propagationという仕組みによって自動調整されます。ここでも機械学習が活用されており、以下の要素をもったモデルをベースにタイミングの調整が行われます。

• データの変更頻度
• 変更されるデータサイズ
• DMLのタイプ
• オブジェクトストレージとの帯域

MySQL HeatWaveはAutopilotによる自動化の仕組みをさまざまな機能で利用し、運用の自動化や効率化の改良を続けています。

［PostgreSQL］2021年9月の主な出来事

まもなく正式リリース予定ですが、この記事を皆さんがご覧になる時にはリリース済みかもしれないPostgreSQL 14の情報をお伝えします。また、PostgreSQL技術者認定のランキング情報が発表になりました。

新メジャーバージョンPostgreSQL 14が正式リリース…か？

この連載の数回前からベータ版リリースをお知らせしてきている新メジャーバージョン14ですが、9月23日にリリース候補版のRC1が公開されました。さらにスケジュールでは1週間後の9月30日に正式リリース予定となっていますので、この記事の公開は、ちょうど正式リリースがされたところかもしれません。

この回ではぎりぎり間に合いませんでしたが、正式リリースにまつわるニュースが何かあれば次回にお伝えしたいと思います。かわりに、正式リリース記念としてPostgreSQL 14の新機能や特徴についてこれまでの事前情報をまとめておきます。

ベータ1（5月）とベータ2（6月）に基づいたバージョン14の新機能トピックスを、本連載の第71回でお伝えしました。この第71回では@nuko_yokohamaさんの「PostgreSQL 14がやってくる」も紹介しました。そこでは、ベータ版を使って気になる機能を実際に稼働させた検証結果が公開されていて、第71回で紹介した後にもコンテンツが増えています。

「PostgreSQL 14がやってくる（6⁠）⁠」では、PostgreSQL 14で追加された定義済みロールであるpg_read_all_data、pg_write_all_dataを検証しています。「⁠ちょっと面白いことに、pg_write_all_dataを付与したdata_adminは、DELETEはできるけど、TRUNCATEはできない」など、早合点すると間違えそうな注意点もあるようです。

本連載の前回ではベータ3のリリースと変更点をお知らせしました。また、この回で紹介した、SRA OSS Inc. 日本支社によるPostgreSQL 14 検証報告も貴重で信頼できる情報になっていて、PostgreSQL 14の主要な強化点をかなり広く検証しています。

OSS-DB認定者数上位企業【2021年版】発表

OSS-DB技術者認定はLPI-Japanが実施するPostgreSQLの技術力認定で、「⁠OSS-DB Gold」と「OSS-DB Silver」という二つのレベルがあります。OSS-DB GoldはPostgreSQLの内部構造についての深い知識を持ち、設計・構築からパフォーマンスの改善やトラブルシューティングまで行える技術力を証明します。OSS-DB SilverはPostgreSQLを使ったデータベースシステムの運用管理を確実に行える技術力を証明するものです。

このOSS-DB技術者認定の、2021年版の所属別の認定者数ランキングが発表されました。PostgreSQLエンタープライズ・コンソーシアム（PGECons）などで活動している企業もランクインしていますが、その他にもPostgreSQL技術者の育成に取り組んでいる企業や学校が見受けられるのが興味深い点です。

2020年10月以降開催予定のセミナーやイベント、ユーザ会の活動

Project Tsurugi（劔）ユーザー会 兼 経過報告会2021

HeatWave上のデータをBIツールを使って分析/可視化する方法

MySQL HeatWaveハンズオン 全3回

オープンソースカンファレンス 2021 Online/Fall

日本IBMが提供するEDB Postgresクラウドサービスの新たな世界

PostgreSQLカンファレンス2021

db tech showcase 2021