R&D
こんにちは。研究開発部 Architectグループにてデータエンジニアとしてデータ基盤の開発・運用を担当している張です。 4月1日に入社してから、全社横断データ基盤のCI/CD自動化、承認システムの実装、監視の強化やリファクタリングなどの業務を取り組んでお…
こんにちは。研究開発部の内田です。 気づけばもう8月ですね。 今年の初めから某人に触発されてランニングに勤しんでいるのですが、近頃は夜中でも気温26℃を下回らない日が多く、日々のトレーニングが非常に辛いです。 誰かどうにかしてください。 暦の上で…
こんにちは、R&D Architect グループの八藤丸です。今回は自社製 OCR のキャッシュシステムを設計・実装するに当たって考えたことを紹介します。 同じグループの鈴木が最近 Cloud Composer を用いた転送パイプライン構築について過去の連載で紹介しているの…
こんにちは．研究開発部の黒木裕鷹です．前回の記事から大分時間が空いてしまいました． 12月に宮崎で開催される青島太平洋マラソン2022にエントリーしました． ベスト（ネットタイムで3時間58分）を更新できるよう頑張りたいのですが，あまりの暑さで思うよ…
こんにちは。研究開発部でデータエンジニアをしている鈴木翔大です。 今回は【R&D DevOps通信】連載 9回目として、以前構築したデータ基盤の転送パイプラインについて書こうと思います。AWSのS3上に存在するデータをGCPのGCSに転送して、データのETL処理をし…
R&D 研究員の小松です。前回は Double Metropolis-Hastings 法による ERGM のパラメーター推定方法を確認し、それを R で実装してみました。 buildersbox.corp-sansan.com これまでは ERGM の理論的な話が続いていました。今回は ERGM の応用として、racial …
研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。ちなみに名古屋にある中部支店に勤務しています。 今回はCloudSQL(MySQL)で定期的にテーブル洗い替えをするシステムを構築したら思ったよりストレージが必要でしたというテーマです。
こんにちは、研究開発部の鈴木碩人です。 京都で行われた第36回人工知能学会全国大会(JSAI 2022)において、インダストリアルセッションの発表、企業ブースの出展、ポスター発表を行いました。 Sansanでは、これまでJSAI, DEIM, NLPなど多くの学会に企業ブー…
こんにちは、R&D Architectグループの辻田です。 今回はカスタムメトリクスを使ってターゲット追跡スケーリングを行い、費用の無駄が少ない最適なスケーリングの実現に取り組んだ内容を紹介します。 カスタムメトリクスはSQSキューのメッセージ数とオートス…
研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。 今回はGCP App Engine(GAE)でサービスのバージョンにアクセスするとDNS_PROBE_FINISHED_NXDOMAINが出てしまった話というテーマです。
R&D Architectグループの辻田です。SBB*1 2回目の登場です。 今回は【R&D DevOps通信】連載の5回目として、Kinesis Data Firehoseを使用したログのETL処理について書こうと思います。 CloudWatch Logsサブスクリプションフィルタ + Kinesis Data Firehose + …
こんにちは、研究開発部 Architect グループで DevOps エンジニアをやっている八藤丸です。 今回は【R&D DevOps通信】連載の4回目、データ同期システムを構築した際に利用した GCP の Workflows*1 について紹介します。同じグループの張が最近 GitHub Action…
こんにちは、今年4月にSansanにジョインした張です。研究開発部Architectグループにてデータエンジニアとしてデータ基盤の開発・保守を担当しています。 今回は【R&D DevOps通信】連載の3回目、データ基盤におけるGitHub Actionsを使ったTerraformとCloud Co…
At Sansan R&D we have created a set of guidelines and templates to become more productive when writing reports with R. Here I share some of what we came up with.
こんにちは． 研究開発部の黒木裕鷹です． ついに初めてフルマラソン（長野マラソン）に出場しました． タイムはネットで 3:58:25 で，サブ4を達成することができました！ 次の目標はサブ3.5（3時間半切り）でしょうか．道のりは遠いです．
こんにちは。技術本部 R&D 研究員の青見です。 4月で社会に出て1年になりました。 この時期は花粉症が辛くて記憶がくしゃみにかき消されがちですが、入社式のやっていきを思い出して2年目も頑張っていきます。
こんにちは。 技術本部 研究開発部の高橋寛治です。 Python でプロジェクトを始める際に、ディレクトリ構成を考えたり、パッケージ方法を考えたり、もしくは何か参考になるものを見つけてコピペしたり、と意外と時間をかけていました。 これをコマンド一つで…
Sansan R&D 研究員の小松です。前回までは、ネットワークをシミュレーションする際に発生する問題、およびその解決方法の1つについて議論してきました。 buildersbox.corp-sansan.com なぜこれらが重要かというと、効用関数のパラメーターを推定するためにネ…
Sansan R&D 研究員の小松です。ERGMの性質についてこれまで眺めています。前回の記事では以下を確認しました。 ERGM から生成されるネットワークの構造は、パラメーターが変わると極端に変化する(相転移)。 パラメーターの値が相転移の境界線にあるとき、ネ…
こんにちは。 DSOC R&D グループの高橋寛治です。 ログイン後に動的にレンダリングされたページから必要な情報を抽出する、いわゆるスクレイピングを最近行いました。 スクレイピングを行うためにはヘッドレスブラウザ*1の操作が必要です。 pyppeteerを少し…
本記事は，Sansan Advent Calendar 2021 第18日目の記事です． こんにちは，研究開発部の内田です．いつの間にやら季節は進んで，街路樹の葉も落ちたり燻んだり，日常の風景からも寒さを感じるようになってきました．最近は，そんな日常に彩りを加えるべく，…
こんにちは． DSOC 研究開発部の黒木裕鷹です． 膝が痛いです． やってしまいました． なまじ走れるようになってきたのが楽しく，まだ脚ができてないにも関わらず走りすぎてしまいました．．． 調べてみたところ，膝の外側の靭帯（腸脛靭帯）と前十字靭帯を…
こんにちは。研究開発部でエンジニアをしている新卒入社1年目の西原です。 11/5 (金) に弊社主催で開催した「Sansan Builders Stage 2021」のセッションの中から研究開発部のメンバーが発表した次の2件をご紹介します。 研究開発組織のマネジメント R&Dにお…
こんにちは。 DSOC R&D グループの高橋寛治です。 本記事は Sansan Advent Calendar 2021 - Adventar の初日の記事です*1。 Pythonによるパイプラインツールについて、Prefectというフレームワークが良さそうという話を小耳に挟みました。 第42回の記事と同…
Sansan DSOC R&D 研究員の小松です。前回は、R で ERGM を扱うことに慣れることから始め、ERGM に関わる問題点をあげていきました。 buildersbox.corp-sansan.com そこであげた問題点は以下の通りでした。 難点その1: リンク間の相互依存関係を考慮する時、E…
こんにちは。研究開発部の青見です。 11/5 (金) に弊社主催で開催された技術カンファレンス「Sansan Builders Stage 2021」について、研究開発部から発表された次の2件をピックアップしてご紹介します。
こんにちは． DSOC 研究開発部の黒木裕鷹です． なんとハーフマラソンにエントリーしてしまいました．思いつきって怖いですね． やるからには良いタイムで走りたいと思い，2時間切りを目標に練習しています． とはいえインターネットの記事や Youtube でしか…
こんにちは。 DSOC R&D グループの高橋寛治です。 最近は、ことあるごとにMLOpsと言っています。 そんなMLOpsの本丸とも言えるパイプラインツールの一つであるgokartを開発された西場さん（@m_nishiba）が部長ということで、使ってみないわけにはいかないgok…
こんにちは、DSOC R&Dグループ インターンの笛木正雄です。大学院では離散最適化の研究室に所属しています。インターンでは、日々、知らないことだらけで、色々なことを経験させていただき、伸びしろを実感する毎日です。 現在は、SansanやEightのニュース配…
Sansan DSOC R&D 研究員の小松です。前回の記事では、ネットワーク形成ゲームが Exponential Random Graph Model (ERGM) に収束する証明を確認しました。 buildersbox.corp-sansan.com ERGM を推定することで、効用関数のパラメーター (例えば、共通の友人の…
