連載
本記事は Sansan Advent Calendar 2022 10日目の記事です。 adventar.orgこんにちは。研究開発部 Architectグループ データエンジニアの出相(デアイ)です。 データ分析基盤で分析をする際に必要となる分析用メタデータの管理・運用についての取り組みを連載…
研究開発部Architectグループの堤です。最近は研究開発部の技術や成果物について紹介する記事をいくつか書いてきたのですが、 今回は、下記記事で紹介した"Smart Captured"（略してスマキャプ）の開発の中で行った「Core ML化」について深堀りしたいと思いま…
こんにちは。 技術本部研究開発部の高橋寛治です。 サテライト拠点の神山ラボには、薪ストーブが設置されています。 薪ストーブで暖を取ったり、揺らぐ炎を見てコーディングしたりしてみたくないですか？してみたいですよね。 ということで、今回は神山ラボ…
研究開発部 Architectグループにてデータエンジニアとしてデータ基盤の開発・運用を担当している張です。 データ基盤の構築はETL処理の実装やパイプラインの監視だけでなく、セキュリティ、データアクセス制御管理もデータエンジニアリングライフサイクルの…
研究開発部Architectグループの堤と申します。新任マネージャーとして自身のキャッチアップも兼ねて、研究開発部の技術や成果物について紹介する記事を書いています。 第三弾となる今回は、Sansanの名刺データ化フローの中で使われている弊社が独自開発した…
こんにちは。研究開発部Architectグループ、ML Platformチームの神林です。ML Platformチームは主に研究開発部の成果を最大化するための基盤開発を行っているチームです。この記事では、Kubernetes(EKS)を導入することになった経緯や、周辺技術の選定、運用…
研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。ちなみに名古屋にある中部支店に所属です。 今回はPoetryでプライベートパッケージ(ライブラリ)を扱うテーマの第2弾です。 はじめに 2022/08/31に1.2.0がリリースされました。*1 Release…
Sansanエンジニア インタビューシリーズとして前回はBill Oneの開発責任者である大西をピックアップしましたが、今回は大西が Bill One Engineering Unit Smart 受領グループ アシスタント グループ マネジャーの経堂にインタビューしました。
こんにちは。Sansan Tech Blog 編集部です。社内制度「Geek Seek」*1を活用しながら日々多くの書籍を読んでいるSansanのエンジニアに、おすすめ本を3冊選んでもらう企画の第三弾をお届けします。▼これまでの記事はこちら buildersbox.corp-sansan.com builde…
こんにちは。Sansan Tech Blog 編集部です。社内制度「Geek Seek」*1を活用しながら日々多くの書籍を読んでいるSansanのエンジニアに、おすすめ本を3冊選んでもらう企画の第二弾をお届けします。▼第一回はこちら buildersbox.corp-sansan.com 今回は、研究開…
こんにちは。Sansan Tech Blog 編集部です。毎年10月27日から11月9日が「読書週間」とされていることはご存知でしょうか。1947年から続いており、前身となるイベントは1924年に興っていたそうです。Sansanのエンジニアたちは、社内制度「Geek Seek」を活用し…
研究開発部Architectグループの堤と申します。新任マネージャーとして自身のキャッチアップも兼ねて、研究開発部の技術や成果物について紹介する記事を書いています。 buildersbox.corp-sansan.com 第二弾となる今回は、「スマキャプ」と社内で呼んでいる技…
研究開発部 Architectグループの堤と申します。今年4月より、まったくの門外漢だったところから研究開発部でマネジメントを担当することになりました。入社して早6カ月が経とうとしていますが、マネジメントの面でも技術面でもまだまだ学ぶことだらけです。…
こんにちは。 技術本部研究開発部の高橋寛治です。 徳島県名西郡神山町にあるサテライト拠点の神山ラボで10月から勤務しています。 神山ラボ勤務での日常について、ざっくばらんに紹介します。
こんにちは、R&D Architectグループの辻田です。 とあるシステムのデータストアにAmazon DocumentDBを採用したので、その経緯やDocumentDBの特徴について紹介したいと思います。
本記事はオウンドメディアの閉鎖に伴い、一部編集し転載したものです 初出：2018.06 BNL（Business Network Lab） 加筆：2022.09 「弱いつながり」の方が新情報が得られるという固定概念を覆す、世界最先端の社会ネットワーク研究を紹介する。「帯域幅」の仕…
本記事はオウンドメディアの閉鎖に伴い、一部編集し転載したものです 初出：2018.06 BNL（Business Network Lab） 加筆：2022.09 最近「弱いつながり」が注目されているが「強いつながり」にだっていいところはある。それぞれの強みを理解してバランスを図る…
本記事はオウンドメディアの閉鎖に伴い、一部編集し転載したものです 初出：2018.06 BNL（Business Network Lab） 加筆：2022.09 弱いから有益なのではなく、つながっていない者同士をつなぐ「橋渡し」こそが本質である。Sansan株式会社のデータ化およびデー…
こんにちは、R&D Architectグループの藤岡です。今回は Step Functions（以下SFn） が実行途中で失敗した場合に、失敗した時点から再開できるような仕組みを実現したので、その内容について共有します。
R&D研究員の小松です。本連載ではネットワーク経済学の近年の発展について、忘備録的に書かせてもらっています。 前回まではネットワークにおける相互依存関係を考慮したモデル ERGM のミクロ的基礎づけとその推定・応用について概観してきました。 builders…
こんにちは。 技術本部研究開発部の高橋寛治です。 SageMakerのInf1推論エンドポイントで機械学習モデルを試したので紹介します。 部分的に紹介しているため、SageMakerやHuggingFaceを使ったことがないと、わかりづらいかと思いますがご了承ください。
こんにちは。研究開発部 Architectグループにてデータエンジニアとしてデータ基盤の開発・運用を担当している張です。 4月1日に入社してから、全社横断データ基盤のCI/CD自動化、承認システムの実装、監視の強化やリファクタリングなどの業務を取り組んでお…
こんにちは。研究開発部でデータエンジニアをしている鈴木翔大です。 今回は【R&D DevOps通信】連載 9回目として、以前構築したデータ基盤の転送パイプラインについて書こうと思います。AWSのS3上に存在するデータをGCPのGCSに転送して、データのETL処理をし…
R&D 研究員の小松です。前回は Double Metropolis-Hastings 法による ERGM のパラメーター推定方法を確認し、それを R で実装してみました。 buildersbox.corp-sansan.com これまでは ERGM の理論的な話が続いていました。今回は ERGM の応用として、racial …
こんにちは、R&D Architectグループの辻田です。 今回はカスタムメトリクスを使ってターゲット追跡スケーリングを行い、費用の無駄が少ない最適なスケーリングの実現に取り組んだ内容を紹介します。 カスタムメトリクスはSQSキューのメッセージ数とオートス…
R&D Architectグループの辻田です。SBB*1 2回目の登場です。 今回は【R&D DevOps通信】連載の5回目として、Kinesis Data Firehoseを使用したログのETL処理について書こうと思います。 CloudWatch Logsサブスクリプションフィルタ + Kinesis Data Firehose + …
こんにちは、研究開発部 Architect グループで DevOps エンジニアをやっている八藤丸です。 今回は【R&D DevOps通信】連載の4回目、データ同期システムを構築した際に利用した GCP の Workflows*1 について紹介します。同じグループの張が最近 GitHub Action…
こんにちは。 技術本部研究開発部の高橋寛治です。 以前に紹介したStreamlitは、非常に便利でよく使っています。 buildersbox.corp-sansan.com Webアプリとしてインターフェイスが提供されるため、ちょっとしたデモを誰かに試してもらうのが容易で重宝してい…
こんにちは、今年4月にSansanにジョインした張です。研究開発部Architectグループにてデータエンジニアとしてデータ基盤の開発・保守を担当しています。 今回は【R&D DevOps通信】連載の3回目、データ基盤におけるGitHub Actionsを使ったTerraformとCloud Co…
こんにちは。 技術本部 研究開発部の高橋寛治です。 Python でプロジェクトを始める際に、ディレクトリ構成を考えたり、パッケージ方法を考えたり、もしくは何か参考になるものを見つけてコピペしたり、と意外と時間をかけていました。 これをコマンド一つで…
