와이즈스톤 와이즈스톤

WISESTONESERVICES

AI Testing

Physical AI Testing

현실 세계에서 구동되는 모빌리티와 로봇의 안전성을 제3자 관점에서 검증하는 전문 테스팅 서비스입니다.
센서 인지부터 돌발 상황 판단, 자율 주행 및 하드웨어 역학 제어까지 실제 환경 배포 전 필수적인 검증 파이프라인을 제공합니다.

소개

물리 AI는 화면 안이 아니라 현실 공간에서 움직입니다. 센서가 장애물을 잘못 인식하거나 판단이 한 박자 늦으면, 그 결과는 화면 속 오류가 아니라 충돌·전복·인명 피해로 직결됩니다. 소프트웨어 시뮬레이션만으로는 실제 도로·현장의 조도, 날씨, 지형 변수를 온전히 재현하기 어렵습니다.
와이즈스톤은 AI Test 전문기관으로서 제3자 관점에서 센서 인지부터 하드웨어 제어까지 전 구간을 검증하고, 실제 환경 배포 전 결함을 체계적으로 식별합니다.

목적

  • 개발 단계 리스크
    조기 발견

    센서 융합·경로 계획 등 개발 중인 알고리즘의 오류를 조기에 식별해, 실물 테스트 단계에서 발생하는 수정 비용을 줄입니다.

  • 실환경 배포 전
    최종 검증

    실제 도로·현장 투입 직전 전체 제어 파이프라인의 안전성을 확인하고, ISO 26262, SOTIF 등 기능 안전 표준 대응에 필요한 검증 근거를 확보합니다.

  • 도입 의사결정
    근거 확보

    로봇·모빌리티 제품을 도입하려는 조직이 안전성을 판단할 수 있는 제3자 검증 결과를 제공합니다.

  • 운영 중
    정기 점검

    배포 이후에도 펌웨어 업데이트, 센서 교체 등에 따른 성능 변화를 주기적으로 재검증합니다.

대상

  • 레벨 4·5 자율주행차,
    UAM(도심항공교통)·드론

  • 물류창고 AMR·AGV,
    스마트 팩토리 협동 로봇 팔

  • 자율주행 배송 로봇,
    수술 보조 로봇

  • 호텔·공항 안내 로봇,
    가정용 로봇 청소기

  • 교육용 자율주행 키트

테스트 절차

체계적인 절차를 통해 요구사항 분석부터 결과 보고까지, 표준화된 프로세스로 물리 AI의 안전성과 신뢰성을 검증합니다.

  • 1.착수

    • 로봇·모빌리티의 구동 목적 및 운영 환경(실내/실외, 공공/통제 공간) 파악
    • 센서 구성, 하드웨어 제어 사양, 통신 아키텍처 현황 파악
    • 제공받은 운영 시나리오 및 안전 기준 문서 검토

  • 2.계획

    • 검증 목표 및 품질 목표 설정 (레이어별 합격 기준 정의)
    • 도메인 등급(R1~R3) 판정 및 테스트 전략 수립
    • 테스트 계획서 작성

  • 3.설계- 3단계 프레임워크 적용

    • Testing Prism (레이어 분해): 제품을 Foundation → Reasoning → Agentic → Embodied 4개 레이어로 나누어 레이어별 필요 검증 범위와 제어 복잡도를 정의합니다.
    • Domain Filter (도메인 위험 스크리닝): 제품이 구동되는 산업 공간의 물리적 위험 수준과 국가별 법적 안전 표준을 반영해 테스트 케이스를 선별합니다.
    • Risk Lens (우선순위 산정): 발생 가능성과 인명·물적 영향도를 매트릭스로 분석해, 크리티컬한 사고로 이어질 수 있는 고위험 에지 케이스 시나리오를 확정합니다.

  • 4.환경 구축

    • 하드웨어 사양을 반영한 시뮬레이터(HIL, 가상 트랙) 환경 구축
    • 필요 시 조율된 실물 테스트 베드(주행 트랙 또는 격리 공간) 및 접근 권한 준비

  • 5.수행

    • 레이어별·도메인별 설계된 시나리오에 따라 시뮬레이터 기반 테스트 케이스 수행
    • 프로덕션 직전 단계에서는 실물 장비 테스트 병행
    • 실행 중 발생한 결함 및 예외 상황 기록·보고
    • 재테스트·회귀 테스트 수행 및 결함 로그·재현 시나리오 정리

  • 6.완료

    • 테스트 결과 및 합격 판정 기준 충족 여부 평가
    • 테스트 결과 보고서, Risk 분석 리포트, 개선 권고안 작성
    • 개선 조치 완료 후 해당 결함 영역에 대한 부분 재테스트 지원

테스트 방법 예시

Foundation — 기초 품질 검증
검증 항목 측정 방법 지표
멀티 센서 데이터 융합 정확도 LiDAR·Radar·카메라 입력을 다양한 환경 조건에서 동시 수집해, 융합된 인식 결과와 실측(Ground Truth) 값을 비교 센서 융합 정확도(%), 센서 간 인식 불일치 발생률
SLAM 자가 위치 추정 오차율 사전 측량된 경로를 반복 주행시켜 추정 위치와 실제 위치의 편차를 구간별로 측정 위치 추정 오차(cm 단위), 누적 드리프트(Drift)율
동적·정적 객체 분류·인식 성능 보행자, 차량, 장애물 등을 다양한 밀도·조도 조건에서 노출시켜 분류 정확도를 측정 객체 분류 정확도(%), 오탐지·미탐지 건수
기준: ISO/IEC 25059, ISO 13482
Reasoning - 추론·판단 품질 검증
검증 항목 측정 방법 지표
충돌 회피 경로 생성 정밀도 돌발 장애물을 예측 불가능한 시점에 투입해, 생성된 회피 경로의 안전 거리와 경로 효율성을 측정 최소 안전 거리 확보율(%), 경로 재계산 소요 시간
교통 안전 규제 인지 및 판단력 신호등·차선·표지판 등을 다양한 기상·조도 조건에서 인식시켜 규제 준수 여부를 확인 규제 준수율(%), 오판단 사례 수
엣지 케이스 의사결정 속도 예측 불가능한 복합 돌발 상황(다중 장애물, 급변 환경)에서 판단부터 제어 명령 전달까지의 지연 시간을 측정 의사결정 지연 시간(ms), 지연 시간 임계값 초과율
기준: ISO 26262, ISO 21448 (SOTIF)
Agentic - 자율 실행 품질 검증
검증 항목 측정 방법 지표
목적지 자율 주행 완료 성공률 인간 개입 없이 목적지까지 반복 주행시켜 완료 여부와 중도 실패 원인을 분류 자율 주행 완료율(%), 실패 유형별 발생 빈도
군집·다수 로봇 라우팅 최적화 다수 로봇을 동일 공간에 동시 투입해 경로 충돌, 병목 발생 여부와 전체 처리 효율을 측정 라우팅 충돌 건수, 전체 작업 처리 효율(%)
통신 단절 시 자율 복구 능력 네트워크 음영 구간을 인위적으로 조성해 통신 두절 시 복귀·대기 로직의 동작을 관찰 자율 복귀 성공률(%), 평균 복구 소요 시간
기준: ISO 26262, ISO/IEC 42001
Embodied - 실행 환경 및 제어 검증
검증 항목 측정 방법 지표
하드웨어 제어 응답 지연 모터·조향 액추에이터에 제어 명령을 반복 전달해 명령 인가 시점부터 물리적 반응까지의 지연을 측정 제어 응답 지연(ms), 지연 편차(Jitter)
극한 환경 센서 강건성 우천·강설·야간 저조도 등 조건을 재현해 센서 인식 성능 저하 정도를 측정 환경별 인식 성능 저하율(%), 센서 차단·오작동 발생률
전복 방지 및 Fail-Safe 메커니즘 급제동·급선회 시나리오를 반복 실행해 차량·로봇 역학 기반 안정성과 긴급 정지 동작을 확인 Fail-Safe 작동 성공률(%), 평균 정지 소요 거리·시간
기준: ISO 26262, UL 4600
대상 도메인별 중점 검증 항목
등급 도메인 중점 검증 항목
R3 레벨 4·5 자율주행차, UAM·드론, 수술 보조 로봇 기능 안전 표준(ISO 26262, SOTIF) 준수, Fail-Safe 및 물리 하드웨어 제어 무결성
R2 물류창고 AMR·AGV, 스마트 팩토리 협동 로봇 팔, 자율주행 배송 로봇 안전 펜스 준수, 통제 환경 내 대량 라우팅, 돌발 충돌 방지 및 안전 컴플라이언스
R1 호텔·공항 안내 로봇, 가정용 로봇 청소기, 교육용 자율주행 키트 보행자 밀집 구역 안전거리 유지, 실내 지형지물 극복력, 주행 임무 완료율
등급 기준: 오작동 발생 시 예상되는 피해 유형에 따라 구분합니다. R3(인명 사고·공공 안전 직결), R2(생산 공정 중단·고가 자산 피해), R1(서비스 품질 저하 수준)

기대 성과

물리적 작동 안정성 및 주행 재현성 검증 | 테스트 결과 보고서
  • 레이어별(Foundation~Embodied) 테스트 케이스 수행 결과를 통한 정량적 합격 판정 지표 확보
  • 물리적 오작동 및 위험 상황 결함 목록과 명확한 상황 재현 시나리오 자산화
  • 동일 시나리오 N회 반복 주행 테스트를 통한 시스템의 제어 재현성 및 일관성 지표 수립
인명·물적 리스크 통제 및 구조적 신뢰성 확보 | Risk 분석 리포트
  • 발생 가능성 X 인명·물적 영향도 매트릭스(리스크 맵) 기반의 치명적 위험도 가시화
  • 도메인 등급(R1~R3) 기준의 최우선 통제 리스크 분류 및 안전 관리 우선순위 도출
  • 센서·제어 아키텍처 취약점 분석 근거 마련 및 기능 안전 표준 매핑을 통한 신뢰성 검증
제어력 고도화 및 하드웨어 안전 출시 가이드 | 개선 권고안
  • 하드웨어 오작동 방지 가드레일 수립 및 센서 보정(Calibration) 등 즉시 조치 항목을 통한 하드웨어 가치 극대화
  • 물리적 환경에서의 안전한 릴리즈를 위한 단계별 가이드라인 정립
  • 실효성 있는 재테스트 프로세스, 명확한 통과 기준 및 현장 모니터링 지표 제공

자주 묻는 질문

  • 일반 소프트웨어/LLM 테스팅과 구체적으로 어떤 점이 다른가요?

    가상 환경 내 텍스트나 이미지 출력 품질에 집중하는 서비스와 달리, Physical AI Testing은 현실의 물리 세계를 대상으로 합니다.
    LiDAR·카메라 등 멀티 센서 데이터의 융합 정확도를 확인하고, 돌발 상황 판단력뿐 아니라 실제 모터·조향 장치의 반응 지연, 제동 안전성, 물리적 Fail-Safe 장치까지 기계 역학적 안전성을 통합 검증합니다.

  • 실물 로봇이나 차량을 와이즈스톤 측에 직접 입고시켜야 하나요?

    프로젝트 성격에 따라 다릅니다. 초기 검증 단계에서는 실물 사양을 반영한 하드웨어 시뮬레이터 환경(HIL, 가상 트랙)에서 소프트웨어와 제어 알고리즘의 결함을 우선 검증합니다.
    프로덕션 직전 단계에서는 조율된 테스트 베드(실제 주행 트랙 또는 격리 공간)에서 와이즈스톤 전문 엔지니어가 실물 장비 테스트를 병행합니다.

  • 테스트 수행을 위해 어떤 기술 데이터가 필요한가요?

    로봇·모빌리티의 하드웨어 제어 사양서, 센서 인터페이스 명세서(API/ROS 토픽 가이드), 시뮬레이터 구동 환경 또는 실물 테스트 베드 접근 권한이 필요합니다.
    또한 타깃 도메인의 안전 기준 및 시나리오 기획 문서가 포함되어야 합니다.

Physical AI Testing 문의 및 상담

  • 전화 : 02-6257-5958 (내선 : 222)
    ㅣ 이메일 : service@wisestone.kr