某大手公式ECサイトリニューアルに伴う検証作業某大手SIer様

デバッグ・検証
pict_debug001

SUMMARYプロジェクト概要

  • 大型ECサイトリニューアルの最終テスト(運用テスト)工程に参加
  • 計画時に適切にテストケースの絞込みができるよう工夫
  • 追加テストを提案し、ユーザー視点のブラッシュアップを実施

会員数100万人。
大型ECサイトリニューアルの品質を確保せよ。

それは、かつて経験したことのない規模の案件だった。ユーザー画面150, 管理機能80、20種類のバッチ処理で会員管理・メール配信・決済・物流・会計システムとつながる。PC / スマートフォン / フィーチャーフォン すべてに対応し、会員数は100万人を超える。
これだけの規模のECサイトをリニューアルするにあたり、最終検証でのシナリオテスト(実際のユーザーの動きや管理者の業務に沿って、複数機能の流れを確認するテスト)を計画・実施するのが今回の役割だ。しかし、パッケージソフトを適用する機能については細かい仕様書が提供されない。

プロジェクトリーダーの金森は当時をこう振り返る。
「要件に対して忠実な検証と報告を行うのがデバッグの役割です。大規模の案件で一部仕様書が入手できないという背景があったので、どういう観点のテストを優先するか、というテスト要件の協議に時間を割きました。」

こうして「パッケージの仕様書ではなくリニューアル要求仕様のドキュメントをベースとしたシナリオテスト」という大方針を決め、プロジェクトはスタートした。

テストケース20,000通り!?
現実的なケース数で品質を確保するには

リニューアル要求仕様に沿ってカートでの買い物パターンを整理していくと、かなりの数となった。商品の種類(通販・ダウンロードなど)・決済方法・販売方法(セット販売・予約販売など)といったバリエーションが豊富で、かけ合わせると1,400通り近くとなる。もともと予定していた16種類のブラウザ・モバイル端末で行えば20,000通り以上だ。
もちろんこのまま総当りのテストを実施していくわけではなく、
・登場頻度の低いかけ合わせを削除する
・似た機能を代表1ケースでテストする
といった絞り込みを慎重に行なって、適切なテストケース数を決めていく。最終的には400ケース弱となった。

ここまで絞ったテストケースでも、実施してみるとなかなか計画通りには消化できない。人数をかけたことによって、仕様の伝達と理解に予想以上の時間を費やしていた。

金森 「ペースが見えた時点ですぐに、クライアント様と協議をさせていただきました。端末数の消化よりも機能の確認を重視するという方針に従い、テスト端末数を少し減らしてテストケース数を維持しました。また再計画したペースを守るため、日々の実績から消化ペースを読み取って、こまめにスケジューリング・指示出しを行なっていきました。」

早めのアクションと細かいマネジメントの甲斐あって、テストは余裕を持った日程で完了する。

ユーザー視点の動作検証で、
サイトをさらにブラッシュアップ。

ECサイトの機能と各システムの連携は十分に確認できた。残された時間で追加テストを実施し、ブラッシュアップをはかる。

・ユーザビリティテスト ― エンドユーザー視点でサイトを実際に使ってみて、どこが使いにくいか?どこが使いやすいか?などをアンケート形式で収集する。
・フリーデバッグ ― テスト仕様書にとらわれず、エンドユーザーが行いそうなイレギュラーな操作を多数想定して実施結果を収集する。

これらを通じて、画面上のあるチェックボックスが何を示すか分かりにくいといった指摘や、端末2台持ちのユーザーが同時操作した時の異常などを追加報告していった。

金森 「幅広いユーザーがサイトを利用すると、開発時に想定していない操作も発生します。『ユーザー視点の動作検証』を行うことでより品質向上に寄与できます。」

パートナーとして、
サイトに品質と信頼を。

こうして全体で300件を超える不具合を報告し、第三者検証としての役割を果たすことができた。

金森 「プロジェクト全体として非常に満足いただきました。その中でも特にフリーデバッグ・ユーザビリティチェックの提案と報告内容は高評価をいただきました。」

以降、フィーチャーフォンサイト検証、スマートフォンアプリ検証、ソーシャルアプリ運用テスト計画・実施と依頼は続いている。

金森 「規模の大きな案件を完遂することができ、デバッグチーム全体としても大きな自信となりました。この経験を元に、サイトの信頼を高められるパートナーとして、どんな案件でも一定の品質でデバッグできる体制作りをさらに進めたいと考えています。」

MEMBER

プロジェクトリーダー:金森
デバッガー:杉谷、笹栗、中山、石川、楠元、山脇、松本、保立、鈴木、眞如