共催：アクセンチュア 東洋経済新報社
問題提起
エンタープライズテスティングの未来
アクセンチュアの田畑紀和氏は、同社が毎年、今後の3～5年先にビジネスへの大きな影響が予想されるIT分野のトレンドを発表している「Accenture Technology Vision」に挙げられた2017年の5つのトレンドを踏まえ、テスティングに及ぼす影響と課題について提起した。今年は、昨年に引き続きDigital時代における”ひと”にフォーカスし「テクノロジーを”ひと”のために：インテリジェント・エンタープライズの時代」というキーフレーズにまとめられている。”ひと”に寄り添うようにテクノロジーをコントロールしデザインする必要性と、”ひと”（顧客、従業員）のパートナーとして、テクノロジーを駆使して彼らの成功を支援することの重要性について指摘している。
まず、1つ目のトレンド「AIは新しいユーザーインターフェース」においては、AIはあらゆる領域で高度な役割を担うユーザーインターフェースになることを予測。機械学習のAIが業務システムに組み込まれた場合に、開発者も処理結果が正しいのかわからないことが起き得るため、品質保証に問題が生じると指摘。
次に、第二のトレンドである「無限の可能性を持つエコシステム」においては、デジタルプラットフォーマーや戦略的パートナーと連携することでより高い価値を提供するバリューチェーンが形成できることを説明。たとえばホテル会社が、外部のメッセンジャープラットフォーム上で予約できるシステムをつくる場合、外部パートナーとAPI連携して顧客価値を生むエコシステムが広がる結果、自社内のシステムに対するテストだけでなく、提携先も含めたバリューチェーン全体の品質を保証するためのテストフェーズが新たに必要になるとした。
第三の「人材のマーケットプレイス」においてはクラウドソースも含めた多様な人材が集まり活用されることを述べ、テスティングにおいても、海外ではユーザーインターフェースの多言語対応テストなどでクラウドソーシングが活用され始めていると指摘。フリーランスなどの多様な人材を活用するには、文書化されたルールや標準による統制では限界があるとして、それに代わる新たな仕組みを提供するテクノロジーの必要性に触れた。
第四の「”ひと”のためのデザイン」では、顧客データを活用したサービスの個別化が進むと予想。膨大な行動データに対するパフォーマンステストやセキュリティテストを課題に挙げた。併せて、Design Thinkingに基づく新しい開発アプローチの下ではテストや品質に対する考え方も変化するだろうと述べた。
最後に、第五のトレンドである「未踏の領域へ」においては、新テクノロジーで創造する産業領域は、業界標準、政策制度の整備が追いつかず、開拓者がそれらを創出することになるとして、テスティングにおいても新常識をわれわれ自身が創り出すチャレンジが求められると述べた。
テスティングの将来像
AI時代に向けたソフトウエアテスティングの発展
大阪大学の土屋達弘氏は、テストの回数を減らすためのペアワイズ法を紹介。これは、4つの項目にそれぞれ3つの機能があるとすると、全組合わせを網羅するには81回のテストが必要だが、任意の2項目の機能のペアをすべてテストすることにすれば9回で済む、というもので、そのテストパターンを自動生成するためのツールも紹介した。
AIのテスティングへの活用では、ソフトウエア文書から取り出したデータ、ソフトウエアメトリクスを使い、規模・工数を予測するソフトウエア工学のアプローチや、どのコンポーネントにバグがありそうかを推定するフォールトプローンネスを、AIのデータ分析で高精度化することを期待した。また、AIの自然言語処理機能によって、要求記述とテスト記述の単語の出現頻度を抽出、その特徴量を比較し、関連性から、どの領域で、どの程度のテストをしたか、を推測する研究を説明した。データによる学習が重要なAIを取り入れたソフトウエアのテストについては、従来のコードカバレッジに代わる基準が必要と指摘。正しいかどうかはわからない中でのテスティングの考え方として、検索エンジンのテストを例に、キーワード一つの検索より、もう一つキーワードを加えて絞り込んだ方がヒット件数は少なくなるはずという、ある程度自明の関連性を使ったメタモルフィックテスティングを取り上げた。最後に、参加者に向かって「皆さんと課題を共有させていただきたい」と呼びかけた。
解決策
テスティングサービスの現在と今後の展望
アクセンチュアの下野隆資氏は、AIの登場や企業のバリューチェーンの広がりに対する品質保証など、次世代のテスティングを見据え、今こそ現在のテスティングを見直すべきとして、3つのテーマで現在のテスティングの事例や課題を紹介した。
1つ目は、テスターの役割が変わり、下流工程での品質保証から上流工程の品質作り込みにもかかわるべきという、Shift Quality Leftのアプローチだ。昨年も同テーマでテスターの新しい役割を紹介したが、今年は同アプローチを実践して気づいた改善ポイントを紹介した。上流工程で品質を作り込もうとしても、そもそも品質保証の鑑とすべき現行アーキテクチャや設計文書がそろっていないケースが多く、十分に効果が得られないことがあった。そのため、さらに前段の構想策定段階において同社のリバースエンジニアリングアプローチやコンサルティングを行って現状を可視化しつつ、ステークホルダーの合意形成に基づいた全体テスト戦略を明らかにすることが重要と訴えた。
2つ目は、新しいテクノロジーの取り込みだ。テスト自動化というと画面操作テストの自動化を真っ先に思い浮かべるが、それ以外にもインターフェースの仮想化やデータベース管理の自動化など、テストを効率化できるさまざまなテクノロジーが登場しているという。それらの自動化活用事例が紹介された。たとえば画面操作テストでは、操作モジュールとテストコンディションを結びつけ、繰り返される仕様変更にも柔軟に対応でき、テストを継続的に自動化できる仕組みを説明。テストデータ管理では、データ移送に時間がかかる課題を解決するため、データ仮想化を活用することを提案した。同様に、外部システムとの連携テストでも、テストに加われない外部システムを仮想化インターフェースに置き換えることで、リアリティのあるテストを実現できるとした。テスト実行管理では以前より標準化していた14個のメトリクス情報をデジタル管理し、アナリティックスやAIを活用した高度な自動化への取り組みに言及した。
3つ目は、これらの新しいテクノロジーを組み合わせたテストのフルオートメーション化だ。同社のDevOpsプラットフォームを中心として、さまざまなテスト自動化ソリューションを連携させ、資源管理、コードレビュー、デプロイなど、テスト前後の作業も含めたフルオートメーション化が実現できるとした。
次に、テストが高度化している中でテストの組織モデルはどうあるべきか、第三者によるテスティングサービスである、TCOE（Testing Center of Excellence）のモデルが紹介された。テスト戦略立案、立ち上げ、運用、最新技術検証など役割を分け、高度なテスティングサービスを提供。さらに同社グローバルでは、多国籍企業向けに多言語でのUXテストや探索的テストを行うため、クラウドソーシングベンダーと連携したテストサービスの提供にも乗り出している。
最後に、アナリティックスやAIを活用した高度な自動化の可能性や、企業のバリューチェーンの広がり、ユーザーインターフェースの多様化など、今後待ち受けるテスティングのチャレンジと対応のヒントを紹介し総括とした。
事例紹介
自動化されたテストの実情
アクセンチュアの加藤重雄氏は、金融業界におけるテストの実情およびテスト工数の削減事例を紹介した。
証券会社でのOS更改のテスト事例では、戦略なく”現行保証”を行おうとすると、ゴールがない中でのやみくもなテストになってしまい多額のコストがかかる。そのため、”現行保証”の範囲の明確化とフルオートメーションで対応。本番環境で発生した1日の全トランザクションを現行検証環境と新検証環境で処理を行い結果を確認するという並行稼働を行うことで、テストで必要な大半の業務パターンを検証可能とした。その結果、工数を約半分に削減した。
テスティングサービス導入時のモビライゼーションに関する事例では、設計書がそろわない状況でのテスト立ち上げについて説明をした。トラディショナル、トップダウン、ボトムアップの3つのアプローチで現行業務・システムの理解を可能とした。従来の有識者や既存ドキュメントにのみ頼るのではなく、本番で発生したデータやソースコードのリバースエンジニアリングなどのテクノロジーを活用することで、より確実で網羅的なキャッチアップが可能となるアプローチを強調した。
エンド・トゥ・エンドの自動化では、縦割り組織をまたいでデータを集める準備に時間がかかり、テスト工数全体の6割がデータ準備に要しているという課題解決のため、一気通貫の検証を導入した事例を報告。「自動化は画面の自動入力だけに注力するのではなく、本当の課題を認識して、そのうえで自動化のソリューションを組み合わせて解決することが重要である」と述べた。
APIを通じたエコシステムの時代には、連携する他社システムの変更によって、システムが動かなくなる可能性が避けられなくなると指摘。AIやRPAの導入も、最低限の目的達成を確保するために「どこまで品質を求めるか、品質の合格点を考えなければならない」と指摘。
明日からできることとして「自社のテストの状況を可視化すること、そのうえで定量化した目標を立て、さまざまな施策を適用しながら工数削減のロードマップを描くことが第一歩」と訴えた。
