こんにちは、R&D Architectグループの辻田です。 とあるシステムのデータストアにAmazon DocumentDBを採用したので、その経緯やDocumentDBの特徴について紹介したいと思います。 DocumentDBを選定した経緯 今回保存したかったデータには以下のような特徴がありました。 主要となるテーブルは１つ 概念モデル間の依存は無し データ数は数十万ほど（今後増える可能性あり） Readの頻度：不定期でバッチで参照（今後サービスからリアルタイムで参照する可…

こんにちは、R&D Architectグループの藤岡です。今回は Step Functions（以下SFn） が実行途中で失敗した場合に、失敗した時点から再開できるような仕組みを実現したので、その内容について共有します。＜2024/2/8追記＞ AWS公式で Step Functions の失敗した時点から再開する機能がサポートされたので、この記事の内容は古くなりました。 https://aws.amazon.com/jp/about-aws/whats-new/2023/1…

…の運用が思った以上に便利でびっくりしました。 アナウンス 求人 私の所属するML Platformチームを含む、研究開発部Architectグループでは一緒に働く仲間を募集しています。最近募集の給与レンジが上がりました。私の所属する中部支社勤務も上がりましたのでオススメです。是非一緒に働きましょう。 R&D MLOps/DevOpsエンジニア / Sansan株式会社 *1:2022/08/15現在β版です。 *2:オーガニゼーションシークレットに入れておくと管理しやすいです

…しました。 今回は【R&D DevOps通信】連載の11回目、弊チームの鈴木が紹介してくれた「Cloud Composerを用いたデータ基盤の転送パイプライン構築」 buildersbox.corp-sansan.com の続編として、データ基盤の監視について紹介しようと思います。 背景 全社横断データ基盤の開発のみならず、運用・保守も担当している弊チームは日々さまざまな障害と向き合っています。データ基盤の品質・信頼性を担保し、問題が発生した場合、一刻も早く問題を特定して対応…

こんにちは、R&D Architect グループの八藤丸です。今回は自社製 OCR のキャッシュシステムを設計・実装するに当たって考えたことを紹介します。 同じグループの鈴木が最近 Cloud Composer を用いた転送パイプライン構築について過去の連載で紹介しているので、ぜひご覧ください。 buildersbox.corp-sansan.com 背景 多少簡略化していますが、キャッシュシステムを含む自社製 OCR の構成は以下のようになっています。 キャッシュシステム構…

…翔大です。 今回は【R&D DevOps通信】連載 9回目として、以前構築したデータ基盤の転送パイプラインについて書こうと思います。AWSのS3上に存在するデータをGCPのGCSに転送して、データのETL処理をしながらBigQueryのネイティブテーブルに同期するような仕組みです。この一連の処理の流れ(パイプライン)をCloud Composer上で管理・運用する方法について紹介します。 背景 Sansanが持っているデータは非常に大規模で、かつ機密性が高いデータも含まれてい…

研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。ちなみに名古屋にある中部支店に勤務しています。 今回はCloudSQL(MySQL)で定期的にテーブル洗い替えをするシステムを構築したら思ったよりストレージが必要でしたというテーマです。

こんにちは、R&D Architectグループの辻田です。 今回はカスタムメトリクスを使ってターゲット追跡スケーリングを行い、費用の無駄が少ない最適なスケーリングの実現に取り組んだ内容を紹介します。 カスタムメトリクスはSQSキューのメッセージ数とオートスケーリンググループ内のインスタンス数から算出した値で発行します。 大まかな流れはAWSのドキュメントで紹介されている通りです。下記アーキテクチャに加えて、カスタムメトリクスの発行にはLambda+EventBridgeを使用…

…緒に働きましょう。 R&D MLOps/DevOpsエンジニア / Sansan株式会社 *1:次リンクのservice項目に書いてあります。https://cloud.google.com/appengine/docs/standard/go/config/appref#runtime_and_app_elements *2:gcloudコマンドを利用する場合は--no-promoteをプションをつけると自動でトラフィックが移行しません。 https://cloud.goo…

R&D Architectグループの辻田です。SBB*1 2回目の登場です。 今回は【R&D DevOps通信】連載の5回目として、Kinesis Data Firehoseを使用したログのETL処理について書こうと思います。 CloudWatch Logsサブスクリプションフィルタ + Kinesis Data Firehose + Lambdaを使用してログをETL処理し、S3へ出力したデータをAthenaテーブルに読み込み、Redashからクエリできるような仕組みです。…

…藤丸です。 今回は【R&D DevOps通信】連載の4回目、データ同期システムを構築した際に利用した GCP の Workflows*1 について紹介します。同じグループの張が最近 GitHub Actions についての取り組みを過去の連載で紹介しているので、ぜひご覧ください。 buildersbox.corp-sansan.com 背景 他グループ管轄の BigQuery*2 のデータを新たに作成した研究開発部用の Cloud SQL に定期的に同期するシステムを Wor…

…ています。 今回は【R&D DevOps通信】連載の3回目、データ基盤におけるGitHub Actionsを使ったTerraformとCloud ComposerのCI/CDを紹介します。 GitHub Actionsについての取り組みは同じグループの島が過去の連載で紹介しているので、ぜひご覧ください。 buildersbox.corp-sansan.com buildersbox.corp-sansan.com 背景 ソフトウェア開発をより正確に効率よく行うための手法として…

DSOC R&Dの島です。ArcグループにてR&Dエンジニアを務めています。前回のGitHub Actionsに関する記事の流れで、今回は Problem Matchers を紹介します。 このProblem Matchersの使い道として、例えば任意のlinterの出力をpull requestのコード差分中に注釈 (Annotation) として表示できます。こんな感じです。 flake8のGitHubアノテーション出力例 本記事では、Pythonの flake8 を題材…

DSOC R&Dの島です。ArcグループにてR&Dエンジニアを務めています。この記事を皮切りにR&D DevOps通信と題しまして、Arcグループの面々が、当社R&Dのエンジニアリングをよりよくするテーマで連載していく予定です。乞うご期待。 私は過去に旅行記しか書いてない人ですが*1*2、今回は初めて技術らしい記事を書きます。GitHubのpull requestへのコメントで発動するワークフロー を GitHub Actions で作ります。 github.co.jp 下の…