こんにちは。
DSOC Infrastructure Groupの水谷です。*1
グループ内の最年長で学生の時にJavaが産声を上げてたくらいのおじさんです。
主な業務は昔話をして皆を困らせることです。*2
会場は東京プリンスホテルとプリンスパークタワーで、プリンスパークタワーについてはSansanのビジネスカンファレンスである Sansan Innovation Project 2019と同じ場所ですね。
Sansan Innovation Projectが来年も同じ場所かはわかりませんが、同じと仮定して参考になる情報も織り交ぜていきたいと思います。
ちなみに私が行ったのは7/31です。
本当はインフラメンバとして関わった下記リンクの発表を聞きたかったのですが予定が合わず断念しました。
buildersbox.corp-sansan.com
なお、参加セッションはDSOCでも利用を拡大しつつあるBigQuery中心にしてみました。
さて、ここからが本題です。
なるべく臨場感が伝わるように時系列に沿ってお送りしたいと思います。
午前中はExpo回り
さすが、Googleのカンファレンスだけあって会場がとても広いです。
セッションは東京プリンスホテルとプリンスパークタワーの2会場に分かれて、スポンサーブースであるExpo*3についてはプリンスパークタワーに設置されていました。
私、当日受講票を忘れたりとモタついたために基調講演に間に合わず、午後のセッションまで時間が微妙にある状況だったので、先ずはExpoを回ってみました。
周囲にGoogleのブースが配置され、その中にスポンサーブースがありました。
DSOCでも利用しているDatadogさんのブースで色々と話しをしたり登壇依頼*4などを受けつつ午後のセッションに向けて気分をあげていきます。
サングラスをかけて決まった位置に立つと画像を認識してかけているサングラスの商品説明などが映し出されるデモも行われていました。*5
お昼ごはん前に弊社CTOに遭遇し、「僕のパネルがどっかにあるらしいよ。」という情報を頂きました。ほほぅ。
お昼ごはん
セッションは午後からなので、お昼にしようと思います。が、お昼は結構困ります。
ホテル内のレストランのようなもの・・・レストランなのかもしれませんしカフェなのかもしれませんが長蛇の列だったので諦めました。
芝公園周辺でもプリンスパークタワーは赤羽橋よりですので少しご飯の場所に困ります。
私が登録しているセッションの一発目は東京プリンスホテルで開催だったので、建造物として個人的に大好きな東京タワーでご飯をたべてみました。
写真が暗いのは逆光だからです。少し古いスマホなのでどうしても・・・・この日、新しいスマホもExpoで展示されていたので手にとったりして後日Pixel3aを買いました。かなり良いです！
BigQuery を利用した視聴データのリアルタイム ダッシュボード構築
一個目のセッションです。
個人的に好きなテレビ東京さんのセッションでした。
ちょうど、DSOCでも利用を始め、私のタスクでもある監査システムの構築でも使おうと思っているので興味深く聞いてきました。
テレビ東京さんでは、当然ですが”いかに番組を見てもらうか”という課題があり、以前はRedisにデータを格納しカウントアップしていたそうですが、現場からのもっとリッチにリアルタイムな分析がしたいという声に答えるためにBigQueryを利用したリアルタイムダッシュボードを作ったそうです。
ダッシュボードを作る際に楽しいことに注力しようと決めてチューニングやセキュリティ周りその他非機能要件をおまかせできるGCPを利用すると決めたそうです。
楽しいことに注力するというのは大事ですよね。
ちなみに僕が楽しいことはテレビ東京さんがやりたくないチューニングやその他非機能要件だったりします（笑）。
結果、現場からの声は上々だったようで、こういった現場の声がきける環境はエンジニアにとってとてもいいなと思います。
DSOCも同様に直に声が聞ける部署なので、何となくほんわかして次のセッションに向かいました。
細かい技術の内容は割愛しますが、個人的には今年のアップデートであるBI Engineはちゃんと活用したいなと思いました。
移動
申し込んだセッションが東京プリンスホテルとプリンスパークタワーで交互に行われるため、ここで移動です。
当日は猛暑でした。
僕のように若くない人は次回同じ会場であればセッションの申込みを移動が少ないようにするのも手かもしれません。*6
かき氷を配っていたようですが、時間が合わずお預けです。
Googleのエンジニアさん達が読んでいる本が展示されており、同業と思われる人達が写真に収めているのが印象的でした。
読んだことが無く面白そうな本もあったので、会社の勉強会の題材にしてもいいなと思いました。
増上寺の前にロゴがあったので一枚とっておきました。やっぱり東京タワーはかっこいいですね。
いた。
データ ウェアハウスのあるべき姿と BigQuery の新機能
2個めのセッションです。
新機能中心のセッションだったのですが、いい話だなぁと思ったのは地道にパフォーマンス向上を進めていることでした。
利用者としては速いにこしたことはないですし。
テレビ東京さんのセッションでも言っていたように利用者が必要なことだけに注力できるようにしていることや、DSOCで今後使えそうなBigQueryとCloud SQLをJOINできる機能のリリースが嬉しいです。Redash使えば・・・というのもありますがGCPで完結するあたりがいいかと。
BigQuery Storage API はDSOCのR&Dメンバには嬉しいアップデートだと感じました。
Twitter での GCP 事例: オンプレミスとクラウドで構成されたハイブリッドなデータ処理プラットフォーム
すみません、こちら動画リンクなしです。
また東京プリンスホテルに帰ってきました。
ペタバイト規模のデータを日々処理している基盤にGCPを利用している事例でした。
ペタバイトを毎日処理しているHadoopクラスタときいて7,8年前にSansanに勤める前の職場でHadoopを評価した経験がある身としては興味津々でした。
移行理由は迅速なキャパシティーのプロビジョニング、GCPの多様なツールやサービスからなるエコシステムの利用等よく聞く話ではあったものの、移行プロジェクトが年単位だったことが印象的でした。
数百ペタバイトもある基盤の移行となれば、基本に忠実に確実に進めていくことが必要なのだと認識しました。
DSOCの前身であるオペレーション部時代にちょっとしたデータ基盤の移行を数回行い、今後も移行は避けて通れないと思っており、データ量は比較にはなりませんが事業を行う上で重要なデータには変わりがないため、色々と考えさせられたセッションでした。
移動
かき氷！
ここでかき氷タイムとあたりました。
かき氷とレモネードを配っており、両方もらえました。
クラウドを使った円周率 31 兆桁の計算
私、大きな数字をみると妙に不安になるのですが、小数点以下は平気なのと単純にこういう計算の話は好きなので聴きにいってきました。
これはなんというか、感動的な話でした。子供の頃の夢をクラウド上で実現できたという話が印象的でした。ここでゴチャゴチャ書くよりも動画を見るのがよいかと思います！
終わりに
夜にGoogleの弊社担当の方がベースを弾いたそうで、見に行きたかったのですが予定があわず。
後日なにを演ったのかきいたところ、ベースがカッコいい曲ばかりだったので来年は夜まで残ろうと思います。
一日中いたのですが楽しかった！
以上、レポートでした。
*1:DSOCはSansanにおけるデータ統括部門です。 DSOC
*2:実際はDSOCの新サービスのインフラ構築や運用設計、セキュリティに関する施策の設計と構築、データベースの面倒をみたりと色々してます。ここらへんでも何かblogが書けるといいなと思っています。
*3:つくば万博世代としてはExpoって聞くと何だか楽しくなってきます。
*4:こちらも登壇しましたら後日投稿しようと思います
*5:この数日前に隣の席のオシャレモヒカンの同僚がもう少しモヒカンを細くしようと思うというので、どんな髪型でも良いとは思うけどお客様をビビらしちゃ駄目なんじゃみたいな話をしたのですが、これがブーメランか・・・・と軽く後悔しつつExpo回りを終えました。
*6:SIPは1会場なので心配なかったです
