" A 프로젝트" BMT 테스트 후기

이 글은 sten.cyworld.com 에서 옮겨졌습니다.
작성자 :  최민식 
작성일 : 2002.11.15 17:09:00

안녕하세요 최근에 1주일 동안 다녀온 BMT 테스트 후에 얻은 팁이라고 할까요
하여튼 짤막한 기술적인 부분을 다루려고 합니다. 보안상 프로젝트의 이름은 A라고 하겠습니다.

BMT의 대상이 되는 것은 여러가지가 있었지만 특별히 "성능테스트 부분"에 대한 얘기만을 다루겠습니다.

1. TOOL
툴은 loadrunner를 사용하더군요.
300 유저늘 생성해도 실제 메모리는 100M 내외가 쓰입니다.
512M RAM 노트북에서 300 유저를 생성해도 무리가 없는 것으로 보아 많은 메모리를 요구하는 다늘 성능 테스트 제품과 비교 되었습니다.
툴 사용자의 말로는 다른 부하 측정 제품들의 경우 데이터의 70% 정도밖에는 신뢰하지 못하지만 loadrunner는 90 % 정도 신뢰가 되고 일단은 가볍게 노트북으로도 300유저를 생성할 수 있어 좋답니다.(프로그램에 따라 300유저를 생성하지 못할 수도 있습니다.)
라이센스는 부하생성 할 때마다 1유저당 3달러정도를 내야 합니다.(24시간 기준)

2. 명령어(script 와 sar)
일단 예를 들어 설명 하겠습니다.
예) script sample.log
sar -u 5 10000
유닉스의 경우 시스템을 상태를 실시간으로 볼수 있는 여러가지 명령어가 존재 합니다. Target에 방대한 양의 데이터를 동시에 입력하거나 처리할 때 실시간으로 CPU의 상태를 볼 수 있는 명령어가 sar 입니다.
하지만 sar의 명령에 앞서서 script를 이용하면 sar에서 출력된 시스템의 상태를 기록할 수 있습니다.

우선 script sample.log를 하면은 화면에 출력되는 것들을 sample.log에 차곡 차곡 쌓습니다.
그 이후 sar 에 -u 옵션을 주면 CPU의 상태를, 5는 5초 단위로 10000은 10000번을 찍으라고 하면 5초마다 5초에 대한 평균을 내어 sample.log파일에 적게 되겠죠
Ctrl+C를 누르면 sar -u 5 10000을 멈추게 되고
Ctrl+D를 누르면 열려져 있던 sample.log를 닫으면서 script가 종료 됩니다.
마지막으로 sample.log 파일을 엑셀로 읽으면 멋진 통계표로 만들기가 쉽습니다.
유닉스 성능 테스트에 이용하면 편리합니다.

실제 sar를 man 페이지를 이용하여 보면 여러가지 옵션이 있습니다.
관심 있으신 분은 직접 읽어 보시는 것도 좋을 듯 싶네요
위의 내용은 제가 본것과 들은 것을 중심으로 적었기 때문에 증거 자료는 물론 없읍니다. 하지만 틀린 내용에 대한 리플은 환영 합니다.
좋은 하루 되세요

----------------------------
[RE]  정도균

안녕하세요. 바산네트워크(주) 정도균입니다.

TTA시험센터에서는 일반적으로 Loadrunner를 사용하시는 건지 궁금하네요 ?
아직 전 loadrunner를 접하지 못해서.. 또 고가의 제품들이고

저 같은 경우, 이전에 비슷한 성능테스트를 수행한 경험이 있는데요
R사의 제품을 가지고 했었답니다.

그런데 300유저인데 노트북1대로 했었다면, 자세한건 몰라도 월등한거 같네요..
써보고 싶긴 한데.. 아궁. 시간이...
저희같은 경우 1,200명정도를 생성했는데.. . 총 4대가 소요되었습니다.
(제 기억으론 조금 빵빵한 데스크탑 1대로 300명정도는 가능하긴 하더군요)
(데스크탑 3대 : Virtual User Creation , 1대 : Control System)

가상유저가 점점 많아질수록, 원하는 사향이 기하급수적으로 뛰더군요. 콘트롤 시스템도 사양의 매우 중요하구요

그런데 궁금한점이 측정데이터의 신뢰성이 90%정도라고 하셨는데. 어떤식으로. 신뢰성에 대한 판정을 내리시는지요 ? 저희같은 경우는 무식하게도 Client PC의 Response Time을 다 점검했었거든요. 물론, Script의 Pass/fail하고요. loadrunner도 그런식으로 되는건가요 ?

나오는 데이터의 수준도 궁금하구요. Rational 같은 경우는 거의 효율성에 대한 메트릭 값만 달랑 나와서 보기 힘들더군요, 거의 대부분의 Raw Data이고 그걸 통계화시키는 방법도 없는거 같구요 제가 잘몰라서 그러는지 몰라도......

------------------------------------------------
[RE] 최민식

이번 테스트는 직접 하지 못하고 테스트하는 것을 감독하는 수준이어서
원하시는 답을 드리기는 어렵고
제가 본것은 fail/pass 부분인데 원인을 알 수 없는 fail이 가끔 발생하는데
loadrunner일 경우 그 빈도가 적다는 사실을 적어 놓은 것이고요
제가 알기로 유닉스에서 별도의 클라이언트를 설치하지 않고 RPC를 이용하여
알 수 있는 수준이 정해져 있는 것으로 알고 있습니다. 정확히 그 RPC의 이름은 모르는 사항입니다.
아마도 데이터의 깊이는 타사와 비슷하지 않을 까요?
제대로 된 대답이 아니라 죄송 합니다.