【ML Tech RPT. 】第12回 機械学習のモデルの評価方法 (Evaluation Metrics) を学ぶ (3)

DSOC研究員の吉村です. 先日, Sansan の Scan for Trees という取り組みの一環で, 宮城県の大崎市に植樹に行ってきました. 普段のオフィスでのデスクワークから離れて, 鍬を手に持ち植樹をするという経験は非常に新鮮でした.

さて, 今回も引き続き「機械学習のモデルの評価方法」について見ていきます. 前回お伝えした通り, 多クラス分類 (multi-class classification) と回帰 (regression) の評価指標について確認していきます. これまでと同様に, モデルという言葉を機械学習のモデルという意味で用いていきます.

比較的基本の内容ですが, 見ていきましょう.

---

Notation

多クラス分類における精度評価部分では, テスト事例集合を で, 候補クラス (ラベル) 集合を で表します. 事例は , クラスは とします. , , , はそれぞれ, クラス を正例として, そのほかのクラスを負例とした時の TP, FP, TN, FN の数を表しています.

また, 回帰における精度評価部分では, テスト事例集合を で, 事例を で表します. 加えて, 事例 の真の値と予測値をそれぞれ, , とします. また, 各事例の真の値の平均を と表現します.

---

イベント『エンジニアのための多様な「リモートワーク」の形を3社の事例から考える』を開催しました

人事部の高橋洸です。
10/10(木)にイベント『エンジニアのための多様な「リモートワーク」の形を3社の事例から考える』を開催しました。

sansan.connpass.com

今回はGMOペパボさん、ヌーラボさんにご協力いただきました。

会場は福岡天神のEngineer Cafeさん。
赤煉瓦文化館(文化財名称「旧日本生命保険株式会社九州支店」)という福岡市の施設で、今年で110周年の歴史をもつ文化財です。

engineercafe.jp

コワーキングスペースとしても利用可能で、個人での利用なら、なんと電源とWiFiが使えて無料！

手書きのイベントサインをご用意くださいました

事業成長に立ち向かうSansan開発組織の取り組み：Sansan Builders Box 2019

こんにちは。Sansan事業部プロダクト開発部 兼 人事部社内コーチの谷内です。
これまで、プロダクト開発の現場でチームリーダー、エンジニアリングマネージャー、プロダクトマネージャーをしてきました。いまはプロダクト開発部 組織デザイングループで開発組織の運営をしています。

先月開催されたSansan Builders Box 2019で法人向けクラウド名刺管理サービス『Sansan』の開発組織の取り組みについて発表しました。

本稿では本ブログの関連記事を紹介しながら、発表ではお伝えできなかった詳細についてお伝えします。

speakerdeck.com

実は話したいことがいっぱいあった

準備段階でいろいろとお話したいことが山ほど出てきてしまい、25分では到底お伝えしきれない量になってしまいました。

こちらはイベントサイトに載せた発表の紹介文です。

どのような開発・組織体制でSansanを作っているのか？ そして、これからどうしていくのか？ 開発体制、チームビルディング、育成、評価、採用、オンボーディングなど、日本を代表するSaaSを目指した道のりで生まれた組織的課題に立ち向かった歴史をお伝えします。チーム作りを大切にしているエンジニア、組織拡大に向き合うマネジャーやエンジニアリングマネジャーなどの全てのリーダーに向けて、小規模な開発組織にジョインしたエンジニアがチームを越えて組織作りをしていったストーリーをお届けします。

盛り盛りです…（笑）

紹介文にあるチームビルディング、育成、評価、採用、オンボーディングなど、それぞれのトピックだけでも25分では足りないほどです。来場者層を想定しつつ、できるだけ幅広い方に対して、気づきのきっかけを持って帰っていただける内容に整え直しました。

最近登壇が続いていたこともあり、当日はほどよい緊張感のなか終始リラックスしてお話ができました。お越しいただいた皆様、ありがとうございました。

当日の様子：ステージに上がるとちょっとテンション上がる

オフィスでコミュニケーション活動の一環としてスプラトゥーン2大会を開催しました！

こんにちは、Eightでサーバーサイドエンジニアをしている古本です。
最近、興味があるのは Visual Stadio Code Online で、iPadで仕事する日を夢見ています。

10月の終わりにSansan ONEにて社内のゲーム好きが集まって、Nintendo Switchのスプラトゥーン2の会を開催しました。
技術的な話って訳ではありませんが、業務以外で行われているコミュニケーション活動をお知らせ出来る良い機会だと思うので、その活動内容についてレポートしたいと思います。

スプラトゥーン2の会

メンバーについて

社内のスプラトゥーン2コミュニティは、普段はオンライン対戦が中心ですが、たまにリアルでも集まりながらゆるく活動をしています。

今回参加したメンバーは12人です。出張で来ていた関西支店のメンバーや、社外の方、執務スペースから見ていて飛び入りで参戦したメンバーもいました。そのほか、観戦やヤジ専門の人も含めると常時15名程度が入れ代わり立ち代わり集まり盛り上がりました。

メンバーのウデマエはA+〜X、ボリュームゾーンはS+といった感じです。
ブキはスシコラやZAPといった短距離シューターが多めと、やや前衛寄りの構成となっています。

高ウデマエのメンバーは当たり前のように専用ヘッドホン・プロコン持参でガチモードです。

プロコンは当然スプラトゥーン2エディションです。

プレゼンの苦手な僕が満足のいく発表をできるまで：Sansan Builders Box 2019

はじめに

こんにちは、DSOC でデータエンジニアをしている千葉祐大です。

いきなりですが、僕は発表が恐ろしいほど苦手です。
社会人になってからのプレゼン・発表体験を思い出してみても苦い経験ばかりです。

こんな僕ですが、先日、弊社のテックイベントである Sansan Builders Box 2019 に登壇し、自分史上一番満足度の高い発表ができたので、資料作成や練習のやり方、登壇直前の準備をまとめてみました。

万人に当てはまる上手いやり方ではないと思いますが、うまくハマれば有効なノウハウもあると思うので、ぜひご一読ください！

意味ありげに手を回してる図。

ゴールと抑えるべきポイント

ポイントは2つあります。

歴史をたどってディープラーニングを学ぶ 第二回 AlexNetとReLU

こんにちは、ディープラーニング老人こと糟谷です。
前回は2006年の技術を追実験しましたが、まだ13年の隔たりがあります。今日も隔たりを埋めていきたいと思います。

長らく冬の時代が続いていたニューラルネットワークであるが、2006年にジェフリー・ヒントンによってスタックドオートエンコーダなど多層にネットワークを積み重ねる手法が提唱され、さらに2012年には物体の認識率を競うILSVRCにおいてジェフリー・ヒントン率いるトロント大学のチームがディープラーニングによって従来の手法（エラー率26%）に比べてエラー率17%と実に10%もの劇的な進歩を遂げたことが機械学習の研究者らに衝撃を与えた。

引用：「ディープラーニング」『フリー百科事典　ウィキペディア日本語版』より。(最終日付 2019年8月15日 (木) 21:34)

ということで、今回は2012年のAlexNetについて学んでいきたいと思います。
AlexNetについての論文はここから読むことができます。
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

2006年のAutoEncoderは、層を重ねることで３層のニューラルネット以上の性能を出すことを示したものの、画像処理の応用においては当時流行っていた、SURF特徴量を用いた方法ほどの実用性はなく、私の周りではあまり話題になりませんでした。

一方の2012年のAlexNetは実用性を兼ね備え、一世を風靡しました。私も出張中に海外の研究者から、ニューラルネットが現状の最高の精度を出していると聞きジョークなのかと疑ったものでした。

AlexNetは様々な特徴があります。
　・活性化関数ReLU
　・Max Pooling
　・GPUの活用
　・Data Augmentation
　・Dropout
どれも今も使われている技術ですが、一度に理解するのは大変なので、今回はReLUについて実験してみます。

筋肉質なエンジニア組織を目指して：EOF2019登壇レポート

こんにちは、SansanでEightのCEM(Chief Engineering Manager)として開発組織のマネジメントをしている鈴木康寛です。

今回は、先日私鈴木がSpeakerとして参加したEOF2019について、自身の発表内容を中心に振り返ってみたいと思います。

EOF2019とは?

eof.connpass.com

かの有名な「エンジニア組織論への招待」の著者である広木大地さんがパーソナリティを務める EM.FM とEM meetupのメンバーが集まり、「エンジニアリング組織をもっとオープンに」をビジョンに、エンジニアリング・マネージャー(EM)のためのカンファレンスとして今年初めて開催されたものです。

Sansanの関わり

jp.corp-sansan.com

今回は、EMERALD SPONSORとして協賛させていただきました。

弊社は、昨年の6月にCTO, VPoE体制を開始し、それ以降VPoEの宍倉を中心として、社内全体でEMを組織するための取り組みを行って参りました。

その取り組みを共有させていただく機会として、「エンジニアリング・マネージャー(EM)のためのカンファレンス」と位置づけられた本カンファレンスが最適であり、また今回協賛いただいている多くの他社様と共に、より良いエンジニアリング組織について世の中に発信し、その発展に貢献することを目指していきたいと考えております。