- 소프트웨어 품질 등급 부여 방안 연구
- QC/품질관리
- 2005. 10. 31. 16:53
소프트웨어 품질 등급 부여 방안 연구 김 재 웅° 이 공 선 정 영 은 한국정보통신기술협회 IT시험연구소 S/W시험센터 A Study on the Method for Software Quality Grade Jae-Woong Kim° Kong-Sun Lee Young-Eun Jung TTA ITTL SQEC {jwkim, kslee, yejung}@tta.or.kr 요 약 본 연구에서는 소프트웨어 품질 평가에 관한 사용자들의 관심이 증가함에 따라 현재 TTA의 S/W시험센터에서 수행하고 있는 소프트웨어 인증제도에 대해 제기된 일괄적인 인증 마크 부여와 인증 제품의 우열을 평가할 수 있는 기준의 부재 등에 대한 문제점을 개선하기 위하여 상대적 기준과 절대적 기준을 고려하여 제품에 등급을 부여할 수 있는 방안에 대해 연구하였다.
|
소프트웨어의 용도가 확대되고 중요성이 점점 증가함에 따라 품질관리에 대한 요구가 한층 커지고 있다. 특히 최근의 경우에는 소프트웨어 오류가 많은 재산 피해로 직결되는 만큼 고품질 소프트웨어는 정보통신 사회의 필수 불가결한 요소로 자리잡아 가고 있다.
현재 TTA의 S/W 시험센터에서는 국내 소프트웨어 개발업체의 품질에 대한 인식을 제고하고, 소프트웨어 제품의 품질을 향상시켜 소프트웨어 산업을 발전시키기 위하여 국제 품질 표준에 근거한 품질 평가모듈에 따라 소프트웨어 품질 시험 인증 서비스를 2001년부터 수행하고 있다. 신청된 S/W들은 평가모듈에 제시된 품질 기준을 만족하였을 경우 “Good Software"라는 인증 마크가 부여된다. 그러므로 인증 마크가 가지는 의미는 적정수준의 품질을 만족시켰음을 의미할 뿐, 최고의 품질을 보증하는 것은 아니다. 그러나 최종사용자들은 인증 마크가 부여된 S/W들이 최고의 품질을 가지고 있는 것으로 오인하여 인증 제품에 대한 불만을 토로하고 있다. 또한 동일한 분야에서 인증마크를 획득한 S/W에 대해 우열을 가릴 객관적 기준이 없다는 것에 대해 문제를 제기하고 있다. 따라서, S/W시험센터에서는 이러한 소비자들의 욕구를 해결하기 위해 S/W의 일괄적인 인증 마크 부여를 지양하고, 상대적 기준과 절대적 기준을 마련하여 S/W 품질등급을 부여하는 방안을 연구 중에 있다.
본 논문에서는 S/W시험센터에서 고려하고 있는 품질 등급 부여 방안과 적용 사례에 대하여 기술하고자 한다. 2장에서는 소프트웨어 제품 품질등급 부여와 관련된 해외 선진기관의 적용방안과 소프트웨어 제품 품질등급 부여가 개발업계 및 소비자에게 미치는 영향에 대해 분석한다. 3장에서는 소프트웨어 제품 품질등급 부여 방안을 제시하고, 4장에서 적용사례의 결과를 분석한다. 마지막으로 5장에서는 결론과 향후 연구과제에 대해 기술한다.
2. 관련 연구
2.1 해외 동향
소프트웨어 품질 등급을 부여하고 있는 기관들에 대해 조사하여 보았다.
2.1.1 TÜViT
여기서는 ISO 12119나 14598에 근거한 테스트 절차를 마련하여 소수점 자리도 포함하는 1에서 6까지의 점수제를 도입하는 독자적인 품질등급 평가체계를 도입하였다. TÜViT 고객사중 하나인 ComputerBild (http:// www.computerbild.de)사의 의뢰로 이러한 판정등급 시스템을 마련한 바 있다. 이 시스템은 중요도 스킴에 따라 점수를 부여하는 인증검사라 할 수 있는데, 1.00 에서 6.00 까지의 점수를 가격대비 성능을 한눈에 알아볼 수 있도록 인덱스를 정해 점수화시킴으로써 소프트웨어 제품에 대한 가격대비 성능을 소비자가 이해하기 쉽도록 도움을 주고 있다.
sehr gut / gut / befriedigend / ausreichend / mangelhaft / ungenugend 는 각각 최우수 / 수 / 우 / 미 / 양 / 가 로 등급을 부여하는 것이다.
MS Office의 경우 적합성테스트(conformity) 만을 고려할 경우 "적합 / 부적합" 기준을 충족시키지 못했으므로 "부적합" 판정을 받아 이 평가시스템에 따라 점수를 매긴 결과 1에서 6까지의 등급중, "등급3"을 받는 결과가 나왔다.
2.1.1 브라질 CTI
브라질에서는 CTI가 브라질 소프트웨어 산업에서 소프트웨어 품질 평가 서비스를 제공하는 주된 역할을 수행하고 있다. 여기서는 ISO/IEC 9126과 ISO/IEC 12119및 ISO/IEC 14598 초안에 기초를 두고 4598 MEDE-PROS를 개발하였다. 체크리스트 위주의 평가방법은 MicroScope와 유사한데 계속 수정작업을 통해 현재 100개 이상의 설문을 보유하고 있다. 이 방법은 제품명세, 문서화, 프로그램 및 데이터를 사용자의 관점에서 ISO/IEC 12119에 따라 평가한다. 이 평가방법에서 주로 강조하고 있는 평가항목은 소프트웨어의 기능성과 신뢰성이다. 기능성과 신뢰성에 대해 9의 가중치를 부여하고 있고, 유지보수성과 사용성에 대해 8, 효율성에 대해 7, 이식성에 대해 5의 가중치를 부여하고 있다. 각각의 평가 항목에 대해서는 만족정도에 따라 A, B, C, D, I의 등급을 부여하고 10, 7, 4, 1, 0의 점수로 환산한다. 이 평가방법은 브라질 소프트웨어 산업협회 (ASSESPRO)에서 부여하는 올해 최고의 소프트웨어 제품상을 선정하기 위해서 활용되고 있다[5].
2.2 소프트웨어 품질 등급 부여 효과
S/W시험센터에서 소프트웨어 품질 등급을 부여할 경우 공적 신뢰성을 가진 주체에 의한 등급화, 차별화는 시장 경쟁을 촉진하고, 등급 그 자체가 지향해야 할 품질의 레벨을 시사하는 비전의 기능을 수행한다는 장점이 있다. 또한 제품에 대한 정보가 부족한 소비자에게 가이드라인 제시해주고, 개발업체들은 소프트웨어의 연구, 개발, 생산과정에서 이용자를 중심으로 삼는 시장지향주의라는 중요한 조류를 진작시킬 수 있다. 우수한 소프트웨어를 생산하지 못하는 기업의 퇴출을 앞당길 수 있다. 퇴출할 기업을 조기에 가시화함으로써 사회전체가 지불하는 거래비용(overall social transaction cost)을 줄이고 산업전체의 경쟁력 강화, 자원의 배분을 최적화하는 효과를 가져올 수 있다.
그러나 소프트웨어는 작동되는 하드웨어나 운영체제에 따라 성능의 변화가 발생할 수 있고, 대상 소프트웨어를 S/W 분류에 따라 분류하기가 어렵기 때문에 문제가 발생할 수 있다. 또한 소프트웨어를 빠르게 개발하기보다 완벽하게 개발하려고 노력할 경우 새로운 기술 개발을 저해할 가능성이 있고, 시장 확보 경쟁에 뒤쳐져 국내 소프트웨어 업체들의 경쟁력을 잠식할 가능성도 존재한다.
3. 소프트웨어 품질 등급 부여 방안
객관적인 품질등급 부여를 위하여 개발한 품질 등급 프로세스는 그림 1과 같이 4 단계로 구성된다. 제품 유형 식별 과정은 동종의 우수 소프트웨어를 선정하는 과정을 포함한다.
3.1 비교대상 S/W 선정
소프트웨어 등급을 부여하기 위해서는 동일한 도메인에 속하는 제품들을 비교 평가 대상으로 하여야 하므로 우선 제품의 유형을 분류하는 것이 필요하다. 그 후에 제품을 평가하기 위한 품질 모델을 정의하여야 하는데 본 연구에서는 S/W시험센터의 평가 모델을 참조하였다. 등급 부여라는 것이 동일한 도메인의 제품들을 비교하는 것이므로 상대 평가를 수행하는 것이 대상 제품의 포지셔닝을 명확하게 파악하는데 도움이 되므로 상대 평가를 수행하는 것으로 원칙을 정하였다. 물론 현재 틈새시장을 고려하여 출시되는 제품들에 대해서는 비교 대상 제품이 존재하지 않으므로 절대 평가를 수행할 수 있다. 상대 평가를 수행할 경우에는 비교대상 S/W의 선정에 따라 전혀 다른 결과가 나타날 수 있으므로 대상 S/W를 선정하는데 많은 주의가 필요하므로 다음과 같은 선정 기준을 사용하여 선정할 수 있다.
- 시장 점유율 높은 제품
- 사용자 평판도 높은 제품
- 절대평가 등급 높은 제품
3.2 평가항목 선정 및 가중치 부여 방안
품질모델에 정의되어 있는 평가항목으로부터 제품이 속한 유형에서 평가 대상이 되는 항목을 선정한다.
평가항목은 S/W 특성에 따라 중요 항목에 차이가 있으므로 다음을 고려하여 선정한다.
- S/W의 특성을 고려한 항목
- 신청업체의 요청 항목
- SQEC에서 수행한 동종의 S/W 시험 결과 이용
- 시험원들의 경험에 의한 선정
- 전문가 그룹에서 선정한 항목
또한 제품 분류에 따른 평가항목별 중요도를 고려하여 가중치를 부여한다. 예를 들어 ISP/IEC 14102에서는 다음과 같은 평가 및 선정 방법을 제시하고 있다[4].
평가 및 선정 방법 | 주요 특징 |
비용위주의 평가법 | 경제적 기준에 따른 평가 |
점수위주의 평가법 | 정량화된 평가값 부여 |
Borda 방법 | 순위위주의 평가법 |
특성별 평가법 | 특성별 우선순위 평가 |
Condorcet 방법 | 쌍대비교에 의한 평가 |
Fishburn 방법 | 선호정렬법 |
Dodgson 방법 | 선호측정법 |
나열식 평가법 | 기준비교 평가방법 |
구조적 방법 | 계층적 분석 방법 |
본 연구에서는 다음을 참조한 가중치를 부여하여 수행하였다.
- TTA의 소프트웨어 유형별 가중치 부여 자료[1]
- ISO/IEC 9126-3 부특성별 가중치 부여 자료[2]
- 축적된 TTA 시험결과 DB 분석
- AHP 방법론을 이용한 가중치 부여 자료[3]
- CTI 등 해외 시험기관의 가중치 부여 자료[5]
3.3 품질 등급 부여 방안
평가 항목별 메트릭에 따라 품질 측정을 하고, 측정치에 가중치를 부여한 후 평가 등급 점수를 환산하고 환산점수를 합산한다.
그 후 선정되었던 비교 대상 S/W들과의 상대적인 비교를 통하여 등급 부여 대상 S/W의 포지셔닝을 파악하여 품질등급을 부여한다. 비교 대상 소프트웨어 중 가장 우수한 S/W의 점수(B)를 기준으로 점수를 부여하기 위하여 평가대상 소프트웨어의 등급 점수(A)를 A/B의 계산식으로 환산하여 최종 점수를 부여한다. 비교 대상 S/W들의 점수 분포를 고려하여 분야별 S/W의 등급 부여 기준을 선정하고, 평가 S/W의 등급을 부여한다.품질등급의 예는 그림 2와 같다. 품질 등급의 기준은 S/W 분야에 따라 달라질 수 있다.
4. 적용 사례
본 연구에서는 A 소프트웨어를 대상으로 적용된 평가 항목은 [표 2]와 같다[6].
품질특성 | 부특성 | 평가항목 |
1. 기능성 | 1.1 적합성 | 1.1.1 기능정보제공 |
1.1.2 기능구현완전성 | ||
1.1.3 경계값 정보제공 | ||
1.1.4 경계값처리율 | ||
1.2 정확성 | 1.2.1 기능구현정확성정보제공 | |
1.2.2 기능 구현 정확성 | ||
1.3 보안성 | 1.3.1 접근 통제 가능성 | |
1.3.2 접근 감시 가능성 | ||
2. 신뢰성 | 2.1 성숙성 | 2.1.1 결함회피율 |
2.2 결함허용성 | 2.2.1 다운회피율 | |
2.2.2 고장회피율 | ||
2.3 회복성 | 2.3.1 데이터 회복율 | |
3. 효율성 | 3.1 시간효율성 | 3.1.1 평균반응시간 |
3.2 자원효율성 | 3.2.1 메모리 사용률 | |
3.2.2 CPU 사용률 | ||
4. 사용성 | <TD style="BORDER-RIGHT: #000000 0.12mm solid; BORDER-TOP: #000000 0.12mm solid; BORDER-LEFT: #000000 0.12mm solid; BORDER
| 소프트웨어 벤치마크 활성화 방안 (0) | 2005.11.02 |
|---|---|
| 기종 평가 (0) | 2005.11.01 |
| s/w시험의 종류 (0) | 2005.11.01 |
| 웹의 사용성(Usability)을 어떻게 평가할 것인가? (0) | 2005.10.31 |
| CAD/CAM 시스템의 평가기준. (0) | 2005.10.31 |
| Project Quality Management (0) | 2005.10.31 |
| 소프트웨어 품질의 평가 (0) | 2005.10.31 |
| 조엘 테스트: 소프트웨어팀 평가 테스트 방법 (0) | 2005.10.31 |
| 소프트웨어 기술성 평가 기준 해설서 (0) | 2005.10.31 |
| 웹오피스 3종 벤치마킹 (0) | 2005.10.28 |
Recent comment