« テスティングの役割、インスペクションの役割 | トップページ | あとで書く Seleniumとかオープンソース勉強会の資料とか »

直交表は「有効」であっても「万能」ではない

東京地方は大雨な一日になりそうです。

==

直交表という組み合せテストの手法を勉強していて、以下のようなブログ記事に遭遇。

直交表の功罪 by つれづれなる技術屋日記

その人は、ソフトウェアでの組み合わせテストを直交表で作る事になっているんだが、成果としてもう○ヶ月近くモノが出ない。たった一つの直交表すら出来てこない。そもそもどんな組み合わせテストをするかで、細かい部分とおおざっぱな部分とで粒度がいい加減。因子と水準はそれなりに抽出しているが、機能のための因子が相当足りない。

(中略)

直交表の功罪かもと思った1日。ソフトウェアテストでの直交表の利用自体は、喜ばしい事だが、人によってはそれによって万事解決と思う人もいるみたい。

ソフトウェアにおける統合テスト・機能テストは、さまざまな条件を変えてシステム動作が仕様どおりに動作するかを確認する必要がある。単純に「条件の個数×条件の振り幅」で組み合わせを考えると非現実的な組み合わせをテストケースとして考慮しなくてはならない。でも、一般的には1条件、2条件〜3条件の組み合わせが網羅されているだけで、ソフトウェア内の不具合のほとんどが検出できると言われている。(何条件まで検証が必要かはそのプロジェクトの特製、コストや要求される品質によって変わる)

ソフトウェアテストで直交表を利用するというのは、2条件、あるいは3条件の組み合せ表をなるべく少ないテストケースで網羅しよう、というアプローチのことで、このブログの著者がいっているように「万能」な道具というわけではない。適切な因子と水準の抽出ができなければ不具合の検出が少なくなるだろうし、直交表を適用できない場合もなくはない。

今作成しているツールでも直交表を利用した組み合せテストケースが登場するが、やはりツール利用者の経験量・知識量などが因子と水準の抽出に影響するので、アウトプットに品質のブレが発生する可能性がある。「テストケース作成における生産性」は向上しても品質が追いつかないとまずいな。この問題の解決手段としては、今のところ「サジェスト機能」くらいか。もう少し工夫が必要かも。


また、直交表の話になってしまったが、とりあえず今朝邂逅したブログ記事についてでした。

|

« テスティングの役割、インスペクションの役割 | トップページ | あとで書く Seleniumとかオープンソース勉強会の資料とか »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/155415/3709101

この記事へのトラックバック一覧です: 直交表は「有効」であっても「万能」ではない:

« テスティングの役割、インスペクションの役割 | トップページ | あとで書く Seleniumとかオープンソース勉強会の資料とか »