この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。2015年の連載開始から4年を超え、ついに50回目を迎えることができました。読者の皆さんや連載にご協力いただいた皆さんに、心よりお礼を申し上げます。
今回、MySQLは「Oracle OpenWorld 2019」でのMySQL関連の話題をご紹介します。PostgreSQLでは、9月末に開催された「db tech showcase」での関連情報をピックアップします。
[お知らせ]「企業ITシステムのモダナイゼーションとデータベース最新状況」を開催
はじめにお知らせが一点。10月10日(木) 、東京、渋谷で開催される「オープンソースカンファレンス2019 .Enterprise」 で特別企画セミナーを開催します。タイトルは前回のお知らせから少し変わりましたが、なんとか実現しました。
【タイトル】
企業ITシステムのモダナイゼーションとデータベース最新状況 ~ もちろんOSS視点で ~
【概要】
OSSの主要2団体による“ エンタープライス” っぽい共同企画として、企業ITに使えるOSSの最新状況をお伝えします。今回はITモダナイゼーションの観点からopensource COBOLのOSSデータベース接続やDockerコンテナ対応の話と、代表的なOSSデータベースの最新情報をパッケージにしました。企業ITシステムのプラットフォーム選択の一助としていただけると思います。オープンソースカンファレンスですから、遠慮とか大人の事情でカドが取れてしまうことが無い、ここでしか聞けない話を仕入れていただけるのではないかと思っています。
【内容と発表者】
[1] ITモダナイゼーションとOSSデータベース
講師:井坂 徳恭 ( 東京システムハウス、OSSコンソーシアム/オープンCOBOLソリューション部会)
[2] MySQL最新情報
講師:稲垣 大助 ( Oracle Corporation MySQL GBU、OSSコンソーシアム/データベース部会)
~ 休憩&雑談会 ~
[3] PostgreSQL最新情報
講師:北山 貴広 ( SRA OSS Inc. 日本支社、OBCI)
[4] MongoDB最新情報
講師:有延 敬三 ( MongoDB)
司会&火付け役:溝口 則行 ( TIS、OSSコンソーシアム副会長、OBCI副理事長)
参加エントリはオープンソースカンファレンス2019 .EnterpriseのWebサイト からお願いします。
OSC .Enterprise セミナー登壇者
[MySQL]2019年9月の主な出来事
2019年8月はMySQLの製品アップデートはありませんでした。
米国サンフランシスコで開催された「Oracle OpenWorld 2019」および「Oracle Code One 2019」では、40近いMySQL関連のセッションが用意されていました。日本からの事例講演として、フリマアプリ「メルカリ」のSRE(Site Reliability Engineering)チームの佐々木様が登壇されました。このほか米国 JPモルガン・チェース銀行傘下の支払いゲートウェイサービスWePayや、FacebookでのMySQLの利用事例講演、MySQL開発チームによるディープなセッションが展開されていました。
Oracle OpenWorld 2019でのMySQLの話題
事例講演以外でもいくつか新しい発表がありました。MySQLサーバー関連では、次のMySQL 8.0.18でついにHash JOINが追加 されることや、実行計画のより詳細な情報が得られるEXPLAIN ANALYZEが追加 されることが発表されました。分散型データベースクラスタのMySQL NDB Cluster 8.0はより大規模なデータに対応し、最大4ノードまで同一データの複製を持つことができるようになります。リリースに向けて順調に開発が進められており、8.0.18 RCのリリースが近付いています。
MySQL Enterprise Editionの透過的データ暗号化 は、パスワード付き暗号鍵ファイル に加えて外部の鍵管理ソリューションに暗号鍵を置くことができます。これまではKMIP 1.1対応のOracle KeyVault やAWS KMS に対応していましたが、HashiCorpのVaultにも対応する旨が発表されました。
なおこれらの発表内容は、11月7日東京、8日大阪で開催される「MySQL Innovation Day 2019」 にて、MySQLエンジニアから詳細をご紹介予定です。
Mercari meets MySQL Analytics Service
フリマアプリでおなじみの「メルカリ」の登壇では、大規模データ分析基盤として開発が進むMySQL Analytics Service を、世界でもいち早くテストされた状況について、というテーマの元、実際の環境で実行されているSQL文の性能比較を紹介していました。メルカリでは出品される商品や取引情報を基本的にMySQLサーバーで管理しています。
2013年の創業以来、圧倒的な速度で成長を続ける同社では、迅速なビジネス環境の変化に対応し続けるためにエンジニアに限らず社員全員がデータを分析できる教育を行い、経営からマーケティング、キャンペーンの設計やユーザーのサービス利用動向など、幅広く多様なレベルでのデータ分析を行っています。出品される商品や取引に不正がないかの観点でのデータ分析も重要となっています。
データ分析基盤として、メルカリでは個人を特定できる情報を匿名化したデータをMySQLに格納し利用しています。一方で、分析処理によってはMySQL上での処理時間が大きくなりすぎてしまうため、独自開発したETLツールでGoogle BigQueryにデータを定期的に同期をかけて分析しています。
講演では、このETLのメンテナンスやGoogle BigQueryへの同期処理でのデータの重複などの課題を解決できる可能性のある製品として、MySQLのレプリケーションだけでデータの同期が行えるMySQL Analytics Serviceを使った構成に注目した点が強調されていました。
複数のJOINがあるクエリや特定の条件に該当するうちの上位n件のレコードを抽出するTop-Kクエリでは、オンプレミス環境のMySQLのみならず、Google BigQueryに対してもMySQL Analytics Serviceが大幅な性能向上を見せており、佐々木様からMySQL Cloud Serviceの開発チームに対して一刻も早く正式なサービス提供を開始して欲しいと要望されていました。
[PostgreSQL]2019年9月の主な出来事
9月25日〜27日に開催されたデータベース技術のカンファレンス「db tech showcase 2019」から、PostgreSQL関連の情報をピックアップします。このイベントはデータベース技術全般が対象ですので、MySQLやその他のオープンソースDBの話題もたくさん発表されます。その中でPostgreSQLが取り上げられたセッションは、3日間に約10件も設けられていたようです。今回の記事では、都合により初日の9月25日に開催された内容をまとめています。
大規模パーティショニングによる性能
ラフな書き方をすると「新バージョン12のパーティショニングはいいぞ!」というメッセージがあちこちのセッションで聞かれました。バージョン10、11、12ベータ版で、パーティション数を数千まで増やしたときの性能検証の結果を報告されていました[1] 。バージョン11ではパーティション数が1000を超えるものは実用には難しい状況でしたが、バージョン12では1000を超えるパーティション数でも実用に供することができそうです。ただし、いろいろとつまずきやすい点はあるとのことなので、簡単では無さそうです。
EDB Postgres Advanced Server ( EPAS) の新バージョン12もまもなくリリースされる予定で、高速パーテョショニングが実現できるそうです[2] 。EPASではパフォーマンス診断機能なども提供されるので、パーティショニングによって性能を確保したいケースでは有力な選択肢になりそうです。
バージョン12で改善したパーティショニングと、バージョン11で改善したパラレルクエリを組み合わせる使い方が紹介されました[3] 。また、Zabbixの様な性能監視ツールで監視データを蓄積するDBとしての使い方も例示されました。監視データのDBでは、時間軸でのパーティショニングが向いていますが、パーティションが多くなっても性能劣化が少ないので、使いやすくなるでしょう。
クラスタ構成による高可用性と負荷分散
DBサーバの高可用性は昔も今も大きな関心事で、永遠のテーマと言えるでしょう。シンプルなアクティブ〜スタンバイのHA構成は今でも現役ですが、複数台でクラスタ構成を組んで負荷分散しながら高可用性を確保する構成が、徐々にスタンダードになりつつある様に思います。
PostgreSQL専用で代表的なクラスタリングツールであるPgpool-IIの特徴や、新バージョンの改善点などを発表されました[4] 。PostgreSQLの標準機能だけでクラスタを組むよりも、運用面などで“ かゆいところに手が届いている” ツールだと言えるでしょう。障害発生時に自動でフェイルオーバするのはこの種のツールの基本機能ですが、フェイルバック時(障害があった系が復旧した場合にクラスタに復帰する際)の、再組み込みを自動で行う機能がバージョン4.1で実現するとのことです。
次期バージョンPostgreSQL 12情報
数ヵ月の内に正式リリースになるであろう次期バージョン12が、発表者も必ず触れたい話題であり、聴講者にも一番の関心事だったでしょう。前述のパーティショニングもそのひとつです。
バージョン12の変更点がまとめられた発表もありましたが(※3) 、バージョン12の概略は、本連載第47回 で触れていますので今回は省略します。また、前述のとおりEDB Postgres でも12対応がリリース間近とのことでした(※2) 。
高性能化への挑戦
「PostgreSQLをどこまで高速化できるのか」に挑戦している方たちがいます。PG-Strom がその代表でしょう[5] 。普通のPostgreSQLではなくて、と書くと語弊があるかもしれませんが、GPUを搭載したサーバを使い、それに特化したPostgreSQLで高性能をめざしています。
その他
この記事では内容を報告できませんでしたが、その他にPostgreSQLに関連する発表には次の様なものがありました。db tech showcaseの発表コンテンツは、後日に公開されるものもあるようですので、要チェックです。
PGECons ( PostgreSQLエンタープライズ・コンソーシアム)でのDBサーバの移行をテーマにした発表、黒澤彰さん(NECソリューションイノベータ)
AzureでのPostgreSQL、Rio Fujitaさん(マイクロソフト)
4月のOSSコンソーシアム/データベース部会のセミナー「OSSデータベース比較セミナー」で発表いただいた(本連載第45回 )次世代大規模分散OLTP「Project Tsurugi ( 劒) 」 、神林飛志さん(ノーチラス・テクロノジーズ)
2019年10月以降開催予定のセミナーやイベント、ユーザ会の活動
日時
2019年10月3日(水)
場所
日本オラクル株式会社 本社
内容
MySQLをご利用中のゲーム企業各社による事例講演と、Oracle OpenWorld 2019で発表されたMySQLの最新の開発動向をゲーム業界の関係者様向けご紹介するセミナーです。スクウェア・エニックス、グリー、f4samurai、LINEの各社のインフラエンジニアの方々よりMySQL導入事例をご紹介いただきます。
主催
日本オラクル MySQL GBU
日時
2019年10月10日(木)
場所
AP渋谷道玄坂渋東シネタワー【OSC受付13F】 (JR渋谷駅ハチ公改札口より徒歩約1分)
内容
オープンソースカンファレンス(OSC)の企業向け開催です。本記事冒頭でお知らせしたとおり、OSSコンソーシアムでは『企業ITシステムのモダナイゼーションとデータベース最新状況 ~ もちろんOSS視点で ~』を、本イベントの中で実施します。10月10日はぜひこちらにご参加ください。もちろん懇親会もあります。
主催
オープンソースカンファレンス実行委員会
日時
2019年10月16日(水)15:00~17:00 他
場所
SRAグループ池袋オフィスビル
内容
PowerGres の全体像を理解しつつ、実際に機能を体験できるコースで、ノートPCを持参すればインストール・設定までを行うことができます。
主催
SRA OSS Inc.
日時
徳島:2019年10月19日(土)
福岡:2019年11月9日(土)
場所
徳島:四国大学交流プラザ(JR徳島駅 徒歩3分)
福岡:九州産業大学 12号館
内容
MySQLに関する講演とブース展示が予定されています。また、OSSコンソーシアムも出展します。 徳島はプログラム公開中。福岡もまもなく。
主催
オープンソースカンファレンス実行委員会
日時
東京:2019年11月7日(木)
大阪:2019年11月8日(金)
場所
東京:富士ソフトアキバプラザ アキバホール 東京都千代田区神田練塀町3 富士ソフトアキバプラザ
大阪: 日本オラクル株式会社 西日本支社 関西オフィス
内容
2019年9月16日~19日にサンフランシスコで開催されるOracle OpenWorld 2019(OOW)/Oracle Code One 2019で発表されたMySQL最新情報をフィードバックします!MySQL 8.0のGAリリース以降も積極的に新機能を追加し続けるMySQL。今回はプロダクトマネージャー Mike Frank(セキュリティ担当) 、Kenny Gryp(高可用性担当) 、コミュニティマネージャー“ LeFred” およびOracle LabsのVice President Nipun Agarwalの4名が来日し登壇予定です。( 英語セッションは英→日の通訳をご用意)
主催
日本オラクル MySQL GBU
日時
2019年11月15日(金)
場所
AP品川(東京都港区) 「品川駅」高輪口より徒歩3分
内容
PostgreSQL の総合カンファレンスとして、PostgreSQL 自体の進化とコンピューティング環境の変化への対応をディスカッションできるイベント。チュートリアルトラックもあります。プログラムが公開され、エントリ(チケット購入)が始まっています。早割チケットは10月14日までです。
主催
日本PostgreSQLユーザ会 ( JPUG)