先日2/18に、フリー株式会社様とSansanの共催でQAに関する共同イベントを開催しました！
本ブログは簡単なイベントレポートと、時間の都合上回答できなかった質問について、回答いたします。
https://sansan.connpass.com/event/379826/
イベントレポート
改めまして、今回のイベントにて登壇いたしました、
技術本部 Quality Assurance Engineering Unit SETチーム所属の大房です。
当日は「【テーマ2】AIで自動テストの運用・保守はどこまで楽になるか？」にて、SansanのQA SETとしてAIの取り組みについて紹介しました。
イベント自体も開催告知から、多数の現地参加・オンライン参加のご登録をいただき、当日ご参加いただきました皆さまにこの場をお借りして感謝申し上げます。
ありがとうございます！
当日の様子
当日は弊社オフィスがある渋谷サクラステージ28Fのイベントスペースにて開催しました。
今回のイベントでは、3つのトークテーマにてパネルディスカッションを実施しました。
- 【テーマ1】AIでテスト設計はどこまで自動化できるか？
- 【テーマ2】AIで自動テストの運用・保守はどこまで楽になるか？
- 【テーマ3】AI初心者・多様なメンバー構成の組織でどう浸透させるか？
それぞれのテーマにて、フリー株式会社様とSansanでの取り組みを軽く紹介したのちに、登壇メンバーにてディスカッション・会場からの質問に回答する流れとなりました。
今回は弊社の取り組みについて紹介いたします。
【テーマ1】AIでテスト設計はどこまで自動化できるか？
弊社からは QAエンジニア 林が登壇し、テスト設計のAIに関する取り組みについて紹介しました。
林 ) QA業務をサポートするものとして、仕様書やナレッジシステムと連携、テスト分析・観点出し・ケース作成のツールとして『AITAS』を作成した。
林 ) AI導入の目的としては、主に2点。 各メンバーのバックグラウンドスキルや経験則に基づく属人化により、QAとして品質のばらつきを防止すること。 人的ミスなどによりテストの網羅性の不足・欠如を防止すること。 これらが発生した際、重大欠陥に繋がりかねない。そのためにAIにてサポートを行うために導入した。
林 ) この導入により、現在85%の精度と、54%の工数削減を達成している。
Q: AIを導入するにあたって苦労したことは？
林 ) 効果測定の基準を策定するにあたって精度を定めることに苦労した。
林 ) 実際に発生したミスに対して重み付けによる評価とし、定量的にAIの精度を計測できるようにした。
フリー株式会社様のテーマ1に関する事例はこちらから
【テーマ2】AIで自動テストの運用・保守はどこまで楽になるか？
私、大房より弊社でのSETの取り組みについて紹介しました。
大房 ) Bill OneではPlaywrightでのE2Eを定期実行して運用している。
大房 ) テストの定期実行結果の分析として、運用担当者が開発不具合によるものなのか、 想定されているフロントエンドの開発により、Playwrightが動作しなくなっただけなのか、 など複数の事案を考慮した上で、次にどのように実施するのかを検討し、作業起票する必要がある。
大房 ) 人間がやっても面倒だと思う箇所をAIに任せて運用のサポートができるようにする。
大房 ) また、SETとしてAITASと連携した自動E2E作成ツールを検討している。
大房 ) 自動E2Eの作成を含めて運用・保守の各所にAIを浸透させたPlatformの構築を目指している。
Q: テスト失敗時のAIの分析は人を介さずに実施できているか？
大房 ) 現時点ではAIにすべてを任せての運用はできていない。 人の調査や工数削減のサポートとして運用できている状態。
大房 ) AIにより70~80%の精度が達成できていれば、人間の補足や追記を実施して100%の精度としている。
フリー株式会社様のテーマ2に関する事例はこちらから
【テーマ3】AI初心者・多様なメンバー構成の組織でどう浸透させるか？
弊社からはQuality Assurance Engineering Unit部長 佐藤と、トーク1に続いて林が登壇しました。
林 ) AIの組織浸透に向けて3つの軸を用意した。
林 ) AIに対して技術的な信頼を持てるよう、効果測定や評価軸を確立させた。また、フィードバックをもとに精度改善に取り組んだ。
林 ) 次に、ワークショップを通じて展開できる体制作りを行った。そして体制として組織に定着し、維持できるように仕組み化を実践した。
佐藤 ) 昨年（2025年）は全社方針として「AIファースト」を掲げていた。
佐藤 ) それにより部門や会社として浸透させる動きがあった。
佐藤 ) また、OKRなどにAIを活用する内容を取り込んでいった。
佐藤 ) 業務効率化やAI時代におけるQAについて手を動かして考える時間を確保した。
佐藤 ) AIを怖がらない、抵抗がない体制作りに取り組んだ。
Q: AIの浸透度合いを定量的に測る仕組みは導入しているか？
佐藤 ) OKR以外で何%、というようなものは導入していない。SETとしてはAIがどのぐらい関与できているかのメトリクスを出す動きはある。
佐藤 ) AI活用は手段であって目的ではないので、パーセンテージを目指すものなのかは考える必要がある。
Q: AI活用を上手くできている人に共通点はあるか？
林 ) 「怖がらずに使ってみよう」という気持ちを持っている人は上手く使えていそう。
佐藤 ) OKRなどでも整備をして、AI活用に一定時間取れるようなマネジメントを目指している。
懇親会
イベント終了後、懇親会を実施しました。 私はコロナ禍以降にこのような形での懇親会に参加することが久しぶりでしたので、良い機会となりました。 各所で名刺交換や、QA/AIに関する情報共有などが行われていました。
当日回答できなかった質問など
さて、今回会場内で開催中に40件を超える質問をいただきました。 改めてQAやAI事情に関する参加者の方々の興味関心の高さを実感いたしました。そこで質問のいくつかに回答します。 特に私が話した、テーマ2に関連するものをピックアップしています。
Q: AIで作った自動テストのコードについて、人がレビューしていますか？
はい、現在まだ人のレビューを実施しております。 レビュー自体も実際のAI生成時に、Hook処理などでLinterを適用、レビュー用のAgentやSkill、Rulesなどを活用しています。それにより、コード生成後 Playwright Testの動作検証前後にて、AIの内部的なレビューを含めて一定の品質が担保されている状態としています。 また、人のレビュー前にもGitHub Pull Request上にてCodeRabbitのレビューを活用しています。
そのため人がレビューする時点で品質面が一定以上あり、レビューする視点や内容がある程度絞られている、という状況になるようにしています。
Q: AIでのテスト実行時の結果の信頼性はどのように確保していますか？信頼性を高める取り組みがあれば教えていただきたいです。
信頼性ということで、例えばテスト仕様通りにPlaywrightでのE2E生成が行われているかどうか、余計な操作や確認漏れがないか、という点を気にされていると思います。 実際、こちらの信頼性については100点ということはなく、生成精度を上げることを現在実施中です。
生成精度を上げる取り組みの一つとして、AIが理解しやすいテスト仕様を作成するという点があります。 人間だと「チェックボックスを押す」という文言があれば前後の組み合わせから、どこの内容か把握できます。ただし、AIではそれが通用しない場面があります。
そのため、AIが正しい動作を行えるようにテスト仕様を対応させていく、ということが必要になっていきます。 こちらの内容はまた別の機会にブログにて解説予定です！
また、生成される内容自体も、Skillなどで期待値に対してどのように実装するべきなのか、生成されたのちに内部レビューにて実装漏れが存在しないかなどをチェックする、ということを実施しています。
Q: 自動テスト・テストケースの生成において、精度や納得度の高い出力をするLLMに傾向などは感じていらっしゃいますか？
Q: 選択するモデルによってかなり出力はかわってきますが、モデルの推奨 or 強制はしていますか？？
QA全体としては統一しているわけではありません。各フェーズやプロダクトに応じてモデルやLLMは適宜使い分けている状態です。 Playwrightでの生成に関しては、CopilotやChatGPTに比べてコード生成の社内評価が高く、検証時も生成の精度が初期状態を含めて高いと感じたClaude Codeを選定しています。
その中でも Opus 4.6は現在時点で出力が良いことから利用しています。また、思考力を多く必要としない作業や高速化が求められる場合はCommandやSkillでSonnetを指定している場合もあります。
最後に告知
さて、最後にイベント登壇告知を。
今回登壇しました佐藤、林、大房にて、 3/20（金・祝） 東京ビッグサイトにて行われるJaSST’26 Tokyoにてテクノロジーセッションを予定しています。
H2-1）生成AIで支える自動E2Eテストの継続運用 大房
11:45~ 701会議室
D3-1）QA組織のAI戦略とAIテスト設計システムAITASの実践 佐藤、林
13:50~ 607会議室（オンラインあり）
それぞれ、今回のパネルディスカッションでは話しきれなかった内容や、業務事例などを含む具体的な紹介をする予定です。
また、Sansan QAとしても主催イベント、外部登壇などを企画検討しています。 こちらに関しても決まり次第ご紹介します！
他にもSansan技術本部としてイベントを開催しています。直近でのイベントは下記に掲載されています！ こちらもよろしくお願いいたします。
もっと直接話を聞いてみたいという方は
Sansan技術本部ではカジュアル面談を実施しています
Sansan技術本部では中途の方向けにカジュアル面談を実施しています。Sansan技術本部での働き方、仕事の魅力について、現役エンジニアの視点からお話しします。「実際に働く人の話を直接聞きたい」「どんな人が働いているのかを事前に知っておきたい」とお考えの方は、ぜひエントリーをご検討ください。
