こんにちは、研究開発部 Architectグループ ML Platformチームでインターンをしていた上田です。 今回はCI/CDパイプラインで利用されていたArgoCD Image Updaterを内製ツールに移行した経緯について紹介します。
続きを読むSETチーム始動 Playwrightで実現した最初の成果
技術本部 Quality Assurance グループの杉本です。元々はプロダクト開発を行っていましたが、QAグループに SET(Software Engineer in Test)チームが立ち上がるということで異動してきました。
チーム発足から、Playwrightを使ったEnd to Endテスト(以下、E2Eテスト)の導入と最初の成果についてご紹介します。
EightのエンジニアでKaigi on Rails 2024に参加してきました!
こんにちは。
名刺アプリ「Eight」でエンジニアをしている鳥山(@pvcresin)です。
10月25, 26日に有明で行われたKaigi on Rails 2024に、Eightのエンジニアメンバーで参加してきました!
今回は、それぞれの視点からKaigi on Railsの感想や印象に残ったセッションについてレポートします。
続きを読む
GKEのInteractive Troubleshooting PlaybookとGeminiを活用した爆速トラブルシューティング
億単位の大規模ジョブ処理の高速化と順序保証に挑んだバッチシステムの開発
はじめに
技術本部 Sansan Engineering Unit Nayoseグループの上島です。
今回、Nayoseグループで大規模なバッチシステムを開発し、従来システムと比較して9倍の高速化を達成しました。また、処理期間は数十日から数日へと大幅に短縮することに成功しました。
本記事では、この事例と設計時に考慮した点をご紹介します。具体的にはタイトルにある通り、億単位の大規模ジョブを扱う中で直面した課題—ジョブの抽出・管理・実行制御—への取り組みについて解説します。
Nayoseグループは、当社のほぼすべてのプロダクトが利用する共通基盤である”データの名寄せ”サービスを開発・運用しています。 ここでいう名寄せとは、名刺や取引先の情報など別々に存在する多種多様なデータの中から同じ組織や人物に関する情報を識別し、それらをひとまとめにグルーピングすることです。
続きを読むソート対象を分割することでクエリ実行を成功させる
技術本部 Sansan Engineering Unit Nayoseグループでエンジニアをしている冨田と申します。私たちのグループでは、当社のほぼすべてのプロダクトが利用する共通基盤である”データの名寄せ”サービスの開発を日々行っています。
今回は、普段の業務の中で直面した課題についてご紹介します。Athenaクエリの実行中に、ソート処理がボトルネックとなり失敗してしまう問題が起きました。そこで、問題解決に向けて試行錯誤したプロセスや得られた知見を共有します。
続きを読む