Sansan Tech Blog

Sansanのものづくりを支えるメンバーの技術やデザイン、プロダクトマネジメントの情報を発信

R&D

【R&D DevOps通信】Poetryでプライベートパッケージを扱う(GitHub, AWS CodeArtifact, GCP Artifact Registry)

研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。ちなみに名古屋にある中部支店に所属です。 今回はPoetryでプライベートパッケージ(ライブラリ)を扱うテーマです。 追記(2022/11) Poetry 1.2で新たに追加された機能をプライベートパッ…

【R&D DevOps通信】Cloud ComposerのDAGでデータ基盤の転送パイプラインを監視

こんにちは。研究開発部 Architectグループにてデータエンジニアとしてデータ基盤の開発・運用を担当しているジャン(a.k.a jc)です。 4月1日に入社してから、全社横断データ基盤のCI/CD自動化、承認システムの実装、監視の強化やリファクタリングなどの業務…

MIRU2022 に参加してきました

こんにちは。研究開発部の内田です。 気づけばもう8月ですね。 今年の初めから某人に触発されてランニングに勤しんでいるのですが、近頃は夜中でも気温26℃を下回らない日が多く、日々のトレーニングが非常に辛いです。 誰かどうにかしてください。 暦の上で…

【R&D DevOps通信】自社製OCRのキャッシュシステムについて

こんにちは、R&D Architect グループの八藤丸です。今回は自社製 OCR のキャッシュシステムを設計・実装するに当たって考えたことを紹介します。 同じグループの鈴木が最近 Cloud Composer を用いた転送パイプライン構築について過去の連載で紹介しているの…

【ネットワークの統計解析】第12回 株式市場とネットワーク分析 (1)

こんにちは.研究開発部の黒木裕鷹です.前回の記事から大分時間が空いてしまいました. 12月に宮崎で開催される青島太平洋マラソン2022にエントリーしました. ベスト(ネットタイムで3時間58分)を更新できるよう頑張りたいのですが,あまりの暑さで思うよ…

【R&D DevOps通信】Cloud Composerを用いたデータ基盤の転送パイプライン構築

こんにちは。研究開発部でデータエンジニアをしている鈴木翔大です。 今回は【R&D DevOps通信】連載 9回目として、以前構築したデータ基盤の転送パイプラインについて書こうと思います。AWSのS3上に存在するデータをGCPのGCSに転送して、データのETL処理をし…

【Dive into the Economics of Networks】vol.9 ERGM で学校における Segregation を分析する

R&D 研究員の小松です。前回は Double Metropolis-Hastings 法による ERGM のパラメーター推定方法を確認し、それを R で実装してみました。 buildersbox.corp-sansan.com これまでは ERGM の理論的な話が続いていました。今回は ERGM の応用として、racial …

【R&D DevOps通信】CloudSQL(MySQL)で定期的にテーブル洗い替えをするシステムを構築したら思ったよりストレージが必要だった話

研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。ちなみに名古屋にある中部支店に勤務しています。 今回はCloudSQL(MySQL)で定期的にテーブル洗い替えをするシステムを構築したら思ったよりストレージが必要でしたというテーマです。

2022年度人工知能学会に参加しました!

こんにちは、研究開発部の鈴木碩人です。 京都で行われた第36回人工知能学会全国大会(JSAI 2022)において、インダストリアルセッションの発表、企業ブースの出展、ポスター発表を行いました。 Sansanでは、これまでJSAI, DEIM, NLPなど多くの学会に企業ブー…

【R&D DevOps通信】SQSキューのメッセージ数とオートスケーリンググループのサイズに比例したオートスケーリングを行う

こんにちは、R&D Architectグループの辻田です。 今回はカスタムメトリクスを使ってターゲット追跡スケーリングを行い、費用の無駄が少ない最適なスケーリングの実現に取り組んだ内容を紹介します。 カスタムメトリクスはSQSキューのメッセージ数とオートス…

【R&D DevOps通信】GCP App Engine(GAE)でDNS_PROBE_FINISHED_NXDOMAINが出て苦労した話

研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。 今回はGCP App Engine(GAE)でサービスのバージョンにアクセスするとDNS_PROBE_FINISHED_NXDOMAINが出てしまった話というテーマです。

【R&D DevOps通信】Kinesis Data FirehoseでログをETL処理してRedashからクエリする

R&D Architectグループの辻田です。SBB*1 2回目の登場です。 今回は【R&D DevOps通信】連載の5回目として、Kinesis Data Firehoseを使用したログのETL処理について書こうと思います。 CloudWatch Logsサブスクリプションフィルタ + Kinesis Data Firehose + …

【R&D DevOps通信】GCP Workflows を業務で使ってみた

こんにちは、研究開発部 Architect グループで DevOps エンジニアをやっている八藤丸です。 今回は【R&D DevOps通信】連載の4回目、データ同期システムを構築した際に利用した GCP の Workflows*1 について紹介します。同じグループの張が最近 GitHub Action…

【R&D DevOps通信】データ基盤におけるGitHub Actionsを使ったTerraformとCloud ComposerのCI/CD

こんにちは、今年4月にSansanにジョインしたジャン(a.k.a jc)です。研究開発部Architectグループにてデータエンジニアとしてデータ基盤の開発・保守を担当しています。 今回は【R&D DevOps通信】連載の3回目、データ基盤におけるGitHub Actionsを使ったTerra…

Economics Meets Data Science: Reproducible Research with R

At Sansan R&D we have created a set of guidelines and templates to become more productive when writing reports with R. Here I share some of what we came up with.

【ネットワークの統計解析】第11回 「NeurIPS'21 読み会」「AAAI'22 読み会」で発表してきました

こんにちは. 研究開発部の黒木裕鷹です. ついに初めてフルマラソン(長野マラソン)に出場しました. タイムはネットで 3:58:25 で,サブ4を達成することができました! 次の目標はサブ3.5(3時間半切り)でしょうか.道のりは遠いです.

gokart の環境変数周りでバグを発見したので、修正 PR を出したら爆速でリリースされた話

こんにちは。技術本部 R&D 研究員の青見です。 4月で社会に出て1年になりました。 この時期は花粉症が辛くて記憶がくしゃみにかき消されがちですが、入社式のやっていきを思い出して2年目も頑張っていきます。

【Techの道も一歩から】第46回「CookiecutterでPythonプロジェクトを高速に開始する」

こんにちは。 技術本部 研究開発部の高橋寛治です。 Python でプロジェクトを始める際に、ディレクトリ構成を考えたり、パッケージ方法を考えたり、もしくは何か参考になるものを見つけてコピペしたり、と意外と時間をかけていました。 これをコマンド一つで…

【Dive into the Economics of Networks】vol.8 Double Metropolis-Hastings Sampler によって ERGM のパラメーターの事後分布を推定する

Sansan R&D 研究員の小松です。前回までは、ネットワークをシミュレーションする際に発生する問題、およびその解決方法の1つについて議論してきました。 buildersbox.corp-sansan.com なぜこれらが重要かというと、効用関数のパラメーターを推定するためにネ…

【Dive into the Economics of Networks】vol.7 Large sampler を導入してネットワークシミュレーションの収束を改善する

Sansan R&D 研究員の小松です。ERGMの性質についてこれまで眺めています。前回の記事では以下を確認しました。 ERGM から生成されるネットワークの構造は、パラメーターが変わると極端に変化する(相転移)。 パラメーターの値が相転移の境界線にあるとき、ネ…

【Techの道も一歩から】第45回「pyppeteerを使いヘッドレスブラウザでログインして情報を取得する」

こんにちは。 DSOC R&D グループの高橋寛治です。 ログイン後に動的にレンダリングされたページから必要な情報を抽出する、いわゆるスクレイピングを最近行いました。 スクレイピングを行うためにはヘッドレスブラウザ*1の操作が必要です。 pyppeteerを少し…

「Sansan × atmaCup #12」を開催しました

本記事は,Sansan Advent Calendar 2021 第18日目の記事です. こんにちは,研究開発部の内田です.いつの間にやら季節は進んで,街路樹の葉も落ちたり燻んだり,日常の風景からも寒さを感じるようになってきました.最近は,そんな日常に彩りを加えるべく,…

【ネットワークの統計解析】第10回 PageRank とその周辺を探りたい

こんにちは. DSOC 研究開発部の黒木裕鷹です. 膝が痛いです. やってしまいました. なまじ走れるようになってきたのが楽しく,まだ脚ができてないにも関わらず走りすぎてしまいました... 調べてみたところ,膝の外側の靭帯(腸脛靭帯)と前十字靭帯を…

Sansan Builders Stage 2021 セッションレポート第4弾 〜R&D組織のマネジメント& IaC編〜

こんにちは。研究開発部でエンジニアをしている新卒入社1年目の西原です。 11/5 (金) に弊社主催で開催した「Sansan Builders Stage 2021」のセッションの中から研究開発部のメンバーが発表した次の2件をご紹介します。 研究開発組織のマネジメント R&Dにお…

【Techの道も一歩から】第44回「Prefectでパイプラインを構築してみる」

こんにちは。 DSOC R&D グループの高橋寛治です。 本記事は Sansan Advent Calendar 2021 - Adventar の初日の記事です*1。 Pythonによるパイプラインツールについて、Prefectというフレームワークが良さそうという話を小耳に挟みました。 第42回の記事と同…

【Dive into the Economics of Networks】vol.6 ERGM から生成されるネットワークがパラメータによってどう変化するかを理解する

Sansan DSOC R&D 研究員の小松です。前回は、R で ERGM を扱うことに慣れることから始め、ERGM に関わる問題点をあげていきました。 buildersbox.corp-sansan.com そこであげた問題点は以下の通りでした。 難点その1: リンク間の相互依存関係を考慮する時、E…

Sansan Builders Stage 2021 セッションレポート第2弾 〜複雑ネットワーク&OCR編〜

こんにちは。研究開発部の青見です。 11/5 (金) に弊社主催で開催された技術カンファレンス「Sansan Builders Stage 2021」について、研究開発部から発表された次の2件をピックアップしてご紹介します。

【ネットワークの統計解析】第9回 「ICML'21読み会」「KDD'21読み会」で発表してきました

こんにちは. DSOC 研究開発部の黒木裕鷹です. なんとハーフマラソンにエントリーしてしまいました.思いつきって怖いですね. やるからには良いタイムで走りたいと思い,2時間切りを目標に練習しています. とはいえインターネットの記事や Youtube でしか…

【Techの道も一歩から】第42回「Luigiとgokartを試用して比べて特徴を掴む」

こんにちは。 DSOC R&D グループの高橋寛治です。 最近は、ことあるごとにMLOpsと言っています。 そんなMLOpsの本丸とも言えるパイプラインツールの一つであるgokartを開発された西場さん(@m_nishiba)が部長ということで、使ってみないわけにはいかないgok…

BERTによる日本語固有表現抽出の精度改善 〜BERT-CRFの紹介〜

こんにちは、DSOC R&Dグループ インターンの笛木正雄です。大学院では離散最適化の研究室に所属しています。インターンでは、日々、知らないことだらけで、色々なことを経験させていただき、伸びしろを実感する毎日です。 現在は、SansanやEightのニュース配…

© Sansan, Inc.