こんにちは、QA一筋20数年、技術本部 Quality Assuranceグループの藤原です。
今回はモバイルアプリのテスト自動化の取り組みについてお話ししたいと思います。
テスト自動化に取り組んだきっかけ
SansanではiOS/Androidそれぞれ毎週定期リリースがあり、リリース前にリグレッションテストを実施しています。
この定期リリースには新機能追加や軽微な修正などが含まれていて、新機能が増える度にリグレッションテスト項目数が増えていきます。
当然ですが、テスト項目数が増えると実行工数も増え、自動化導入前は半日ほどテスト時間がかかっていました。
忙しい時期だと複数プロジェクトが並行して動いていて、リグレッションテストの時間を確保するのが難しい場面も度々あり、リグレッションテストがリリースのボトルネックにならないように、業務効率化を実現するために自動化に取り組みました。
技術選定
技術選定にあたり大事にしたのは以下になります。
特に重要視したのは「開発経験のないテストエンジニアでも容易に操作が行えること」で、そのなかで選択したのが「Magic Pod」になります。
- 開発経験のないテストエンジニアでも容易に操作が行えること
- さまざまなOSバージョン・機種でテストできること
- 並列実行ができること
- BitriseなどCI連携ができること
Magic Podは下記のようにクラウド端末の画面キャプチャを取り、必要な操作を選択してテストを作っていけるので、簡単にテスト項目を作成でき導入コストも抑えられました。
導入効果
最初の導入コストについては、開発経験のないテストエンジニアが半日程度操作すれば使えるようになりました。
実運用後の効果としては、リグレッションテスト項目数の約7割弱を自動化でき、リグレッションテスト工数を半減することができたので、テスト自動化に取り組むきっかけとなった業務効率化を実現することができたと思います。
また、手動テスト実行前に不具合を検出できたこともあり、こちらも業務効率化に繋がっていると思います。
一例として、手動テスト予定日の前日に自動テストを実行したところ不具合が見つかり、その日のうちに修正でき、手動テストは翌日予定通り実行できたので、手動テストの手戻りを防ぐことができました。
まとめ
最初はどの項目から自動化するか悩みましたが、まずは簡単な項目から自動化を進めることにしました。
そうしたことでMagic Podの使い方にも早目に慣れることができ、このツールで出来ることと出来ないことの判断も早目にできるようなったので、結果として自動化実装速度も上がったかなと思います。
また 10/29に開催される QA Online #1 にも登壇します。「VSTePによるテスト観点のモデリング」についてお話しします。ご興味のある方は、ぜひご参加ください。
https://testonline.connpass.com/event/223667/
testonline.connpass.com
