Sansan Tech Blog

Sansanのものづくりを支えるメンバーの技術やデザイン、プロダクトマネジメントの情報を発信

R&D

【Sansan Tech Talk】研究開発部のSRE戦略 〜MLアプリケーションの進化と保守性向上⁠〜

こんにちは、Sansan Engineering Unit 部長の笹川裕人です。今回で8回目を迎える「Sansan Tech Talk」では、Sansanのテックリードが日々取り組んでいる技術的な課題や挑戦を深掘りしてお届けしています。今回は、研究開発部のArchitectグループで活躍する加…

バージョンが多すぎるYOLOについて語りたい

本記事はSansan Advent Calendar 2024、18日目の記事です。

DatadogでKubernetes(EKS)のMetricsを取得する備忘録

こんにちは!技術本部 研究開発部 Architectグループの宮地です。1年ぶりのブログ投稿になります。私は23卒として入社し、気づけば 2年目も終わりに近づいています。月日の流れは本当に早いですね。 さて、最近のトピックスとして、年明けから中部支店に異動…

機械学習実験管理ツールの移行検討

こんにちは、技術本部 研究開発部 ML Platformチームでインターンをしていた岡部です。ML Platformチームでは、主に社内の研究員の成果を高速にリリースするための基盤であるCircuitの開発・運用を行っています。 CircuitはEKSをベースとしたシステムで、シ…

Argo CDとArgo Workflowsにおける認証・認可の設定

こんにちは、研究開発部 Architectグループ ML Platformチームのジャン(a.k.a jc)です。 本記事はSansan Advent Calendar 2024の15日目です。 Argo CDとArgo Workflowsにおける認証・認可の設定について紹介します。

BigQueryのストレージ課金モデルの自動最適化

研究開発部の田仲です。 本記事は、Sansan Advent Calendar 2024の3日目の記事です。 背景 どちらの課金モデルが適しているかを判断する 自動的に安い方にする 処理概要 ポイント まとめ

Cloud ComposerとCloud Run Jobsを組み合わせたデータパイプラインの構築

R&D

こんにちは。研究開発部 Architectグループの中村です。 本記事は、Sansan Advent Calendar 2024の2日目の記事です。 今回は、Cloud ComposerとCloud Run Jobsを組み合わせたデータパイプラインの実装について紹介します。

本番相当の環境でdbt runを安全に検証する

はじめに 開発環境のご紹介 dbt run テスト dbt run によって生成されたデータは一定期間で削除する必要がある 開発の影響があるモデルだけテストしたい GitHub Actions を使いたい まとめ はじめに こんにちは。技術本部研究開発部 Architectグループの田辺…

ArgoCD Image Updaterから内製ツールに移行した話

こんにちは、研究開発部 Architectグループ ML Platformチームでインターンをしていた上田です。 今回はCI/CDパイプラインで利用されていたArgoCD Image Updaterを内製ツールに移行した経緯について紹介します。

【Sansan Tech Talk】研究開発部のプラットフォーム戦略 〜マルチプロダクト環境における課題と展望〜

こんにちは、Sansan Engineering Unit 部長の笹川裕人です。今回で7回目を迎える「Sansan Tech Talk」では、Sansanのテックリードが日々取り組んでいる技術的な課題や挑戦を深掘りしてお届けしています。今回は、研究開発部で活躍するWebアプリエンジニアの…

EKSにおけるNamespaceごとにCloudWatchとEC2のコスト按分方法

研究開発部 Architectグループ ML Platformチームのジャン(a.k.a jc)です。今回はKubernetes(EKS)におけるコスト按分のお話しをします。 背景 2022年に弊社研究開発部でAWS EKS上にCircuitというアプリケーション基盤を導入しました。 speakerdeck.com より…

【Sansan Tech Talk】研究開発の技術的挑戦 〜MLOpsの推進による開発サイクル短縮と効率化の取り組み〜

こんにちは、Sansan Engineering Unitの部長を務める、笹川 裕人です。今回で6回目となる「Sansan Tech Talk」。この連載ではSansanのテックリードたちが日々直面している技術的な課題や挑戦を深掘りしてお伝えしています。 今回は研究開発部で活躍するWebア…

2024年 研究開発部 新卒開発研修 後編

こんにちは、研究開発部Architectグループの山本です。 前編に引き続き、新卒社員に対して行った研修を紹介したいと思います。 後編では、前編で開発したサービスを社内アプリケーション基盤にデプロイする内容となります。 前編はこちら buildersbox.corp-s…

Kubernetes上に負荷試験基盤を構築した話

R&D

こんにちは、研究開発部Architectグループ ML Platformチームの藤岡です。今回はKubernetes上に負荷試験基盤を構築したので、その取り組みについて紹介しようと思います。 目次 目次 背景 負荷試験基盤の要件 負荷試験ツールの選定 負荷試験基盤のシステム概…

2024年 研究開発部 新卒開発研修 前編

こんにちは、研究開発部Architectグループの山本です。 昨年に引き続き、研究開発部の新卒社員向けに開発研修を行いました。 今年の研修では、私自身が昨年受けた経験をもとに感じた改善点や部内での技術的なアップデートを踏まえて実施しました。 昨年の記…

blue/green戦略によるKubernetesクラスタ更新時にIstioの対応方法

研究開発部 Architectグループ ML Platformチームのジャン(a.k.a jc)です。 前回弊チームのKAZYがKubernetesクラスタ更新時のマニフェスト差分をGitのブランチで吸収する方法を紹介しました。 buildersbox.corp-sansan.com 今回は解像度をあげてKubernetesク…

2024年度人工知能学会に参加しました

こんにちは!研究開発部の山内敏嗣です!浜松で行われた2024年度 人工知能学会全国大会 (第38回)において、企業ブースの出展、ポスター発表を行いました。 本ブログでは、その様子について紹介します。

ベイジアン操作変数法でA/Bテストをしよう

こんにちは。4月に24新卒として入社しました、技術本部 研究開発部の金髙です。大学院では政治学の研究をしていました。 本記事では、筆者が2024年2月から約1カ月間の内定者インターン時代に取り組んだ内容の一部である「ベイジアン操作変数法を用いたA/Bテ…

A/Bテストを推進しようとしている話

技術本部 研究開発部の小松です。社内/社外向けのアプリケーション開発や、社内のデータ活用促進、学術研究に取り組んでいます。 本稿では、Sansan社内でデータに基づく意思決定を浸透させるために、A/Bテストの活用を推進しようとしている取り組みについて…

【前編】24新卒開発研修で新しいツールを導入した話 〜Ruffの導入方法と使い方など〜

こんにちは、研究開発部 Automationグループで研究員をしている李です。業務として、Bill Oneの請求書情報に関する作業効率改善に従事しています。 例年通り *1 *2 4月24日(水)~4月26日(金)で研究開発部(以下、R&D)内の技術研修を実施しました。開発…

【後編】24新卒開発研修で新しいツールを導入した話 〜pre-commit の導入方法と使い方など〜

こんにちは、研究開発部 Automationグループで研究員をしている李です。 本ブログでは、前編 に続き、新卒開発研修*1 *2に導入したpre-commitの使い方などを共有します。 *1:2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog *2:2023年 研究開…

Kubernetesクラスタ更新時のマニフェスト差分をGitのブランチで吸収する

研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。 名古屋にある中部支店に所属しています。 Kubernetesのマニフェスト管理方法とクラスタのバージョン更新時の運用方法を変更したため、共有します。

チーム開発合宿 2024 in 徳島県神山町(技術編)

こんにちは、研究開発部 Architectグループの辻田です。 この記事はチームメンバー合同で作成した記事です。 先日、神山ラボへ開発合宿に行ってきました。この記事では合宿中に取り組んだ内容について紹介します。合宿の目的や、全体の様子はチーム開発合宿 …

チーム開発合宿 2024 in 徳島県神山町(レポート編)

こんにちは、研究開発部 Architectグループの辻田です。 今年も神山ラボへ開発合宿に行ってきました!新メンバーも加わり、チームとしては2回目の開発合宿*1です。本記事では合宿レポートを紹介します。合宿で取り組んだ技術的な内容は別記事で出しますので…

Firehoseを介したS3への中間データ保管と検索性強化

はじめに こんにちは、研究開発部 Architectグループの辻田です。 SansanではユーザーフィードバックがSlackのフィードバックチャンネルに集まります。研究開発部ではこれらからモデルやアルゴリズムなどの改善をしています。 そのため、より多くのフィード…

CCSE2023に参加しました

こんにちは。研究開発部の保坂です。昨年末は久しぶりに年賀状を書いたのですが、最近は年賀状アプリも発達しており、作り始めて30分程度で発送まで手配できたことに感動しました。そのような中、2023年12月22日(金)に、東京大学の伊藤謝恩ホールにて、株…

【R&D DevOps通信】データ分析基盤の分析用メタデータ管理 -2. 実装-

こんにちは。研究開発部 Architectグループ データエンジニアの出相(デアイ)です。 本記事は Sansan Advent Calendar 2023 の23日目、および【R&D DevOps通信】の連載記事のひとつです。 データ分析基盤で分析をする際に必要となる分析用メタデータの管理・…

Knative ServingをKustomizeでPatchStrategicMergeしたい!

こんにちは、技術本部研究開発部 Architect グループ ML Platform チームの宮地です。 本記事は Sansan Advent Calendar 2023 の22日目、および【R&D DevOps通信】の連載記事のひとつです。 adventar.org 普段の業務では Circuit という Kubernetes を利用し…

Helmを使用せずにKustomizeでAirbyteをKubernetes上に構築する

こんにちは、技術本部研究開発部ML Platformチームのジャン(a.k.a jc)です。 本記事は Sansan Advent Calendar 2023 の19日目、および【R&D DevOps通信】の連載記事のひとつです。 adventar.org 今年6月にData DirectionチームからML Platformチームに異動し…

全社横断データ基盤へdbt導入を進めている話

こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について…

© Sansan, Inc.