딥마인드, 로봇 협업 시대 여는 Gemini Robotics ER 2 공개

Gemini Robotics ER 2 소개

딥마인드는 새로운 로봇 모델인 Gemini Robotics ER 2를 공개했습니다. 이 모델은 로봇의 고급 두뇌 역할을 하며, 비디오 이해, 작업 조율, 다중 로봇 협업을 통해 물리적 세계에서 로봇이 더 유용하게 작동할 수 있도록 합니다. Gemini Robotics ER 2는 실시간 공간 추론, 다단계 작업 계획, 다양한 로봇 간의 협업을 가능하게 하며, 이를 통해 로봇이 자신의 진행 상황을 추적하고 실시간으로 오류를 수정할 수 있게 합니다. 이 모델은 로봇이 더 안전하고 유용하게 작동할 수 있도록 설계되었습니다.

주요 기능

고급 두뇌 역할: Gemini Robotics ER 2는 로봇이 인간과 대화하고, 물리적 세계를 이해하며, 다단계 작업을 계획할 수 있도록 합니다. 이 기능은 로봇이 작업을 수행하면서 동시에 다음 단계를 '생각'할 수 있게 합니다.
비디오 피드 활용: 로봇은 연속적인 비디오 피드를 통해 자신의 진행 상황을 추적하고, 문제가 발생하면 적응하며, 다음 단계로 이동할 시점을 정확히 알 수 있습니다.
다중 로봇 협업: 여러 로봇이 공동 작업을 수행할 수 있도록 하여, 단일 로봇으로는 불가능한 복잡한 작업을 완료할 수 있습니다.

개발자 접근성

Gemini Robotics ER 2는 Gemini API, Google AI Studio, Gemini Enterprise Agent Platform을 통해 개발자에게 공개되어 있습니다. 개발자들은 이 모델을 사용하여 물리적 AI 에이전트를 구축할 수 있습니다.

물리적 에이전트 능력 향상

Gemini Robotics ER 2는 복잡한 물리적 작업을 여러 단계로 나누어 조율하고, 로봇이 스스로 오류를 수정하며 새로운 상황에 일반화할 수 있도록 합니다. 개발자들은 Vision-Language-Action (VLA) 모델이나 내비게이션 API와 같은 저수준 제어 인터페이스를 도구로 선언하고, 멀티모달 비디오, 오디오, 텍스트를 모델에 직접 스트리밍할 수 있습니다.

도구 조율 성능

Gemini Robotics ER 2는 도구 조율 워크플로우를 개선하여, 실제 VLA, 시뮬레이션 VLA, 인간 원격 조작 등 세 가지 제어 모드에서 ER 1.6보다 일관되게 우수한 성능을 발휘합니다. 이 모델은 Gemini Live API에 통합되어, 지연에 민감한 작업을 최적화한 양방향 스트리밍 엔드포인트를 사용합니다.

시간 지능 잠금 해제

로봇이 작업 완료 시점을 아는 것은 어려운 도전 과제 중 하나입니다. Gemini Robotics ER 2는 비디오 이해와 진행 추적에서 큰 변화를 가져와 복잡한 작업이 사양에 맞게 완료되었는지 확인하고 다음 작업으로 전환할 수 있습니다.

진행 분류: 로봇이 작업 완료를 향한 진행 상황을 추적할 수 있도록 합니다. 각 프레임을 0-20%, 20-40%, 40-60%, 60-80%, 80-100%의 다섯 가지 진행 수준으로 할당하여, 로봇이 실시간 상황 인식을 제공하고, 작업을 즉시 조정하거나 실패한 단계를 재시도할 수 있게 합니다.
정확한 순간 찾기: 중요한 이벤트가 발생하는 정확한 비디오 프레임을 식별하는 능력을 측정합니다. Gemini Robotics ER 2는 순간 찾기 작업에서 91.3%의 정확도를 달성하며, 물리적 로봇을 안전하게 운영하는 데 필요한 하위 초 지연을 제공합니다.

다중 로봇 협업

Gemini Robotics ER 2는 다양한 기계가 공통의 의미 이해를 통해 복잡한 작업을 완료할 수 있도록 다중 로봇 협업을 가능하게 합니다.

일반 공간 지능 향상

Gemini Robotics ER 2는 세 가지 벤치마크를 통해 우리의 핵심 공간 추론 능력을 발전시킵니다:

성공/실패 감지: 정적 스냅샷이 아닌 원시 비디오 피드를 사용하여 중간 실행 실패를 포착합니다.
일반 도구 읽기: 원형 다이얼과 시야 유리뿐만 아니라 디지털 디스플레이, 선형 스케일, 자, 액체 온도계까지 확장합니다.
향상된 공간 VQA: 멀티모달 이해에서 Gemini의 발전을 통해 시각적 질문 응답을 개선합니다.

안전성 향상

Gemini Robotics ER 2는 안전 지침 준수 및 인간 근접성 벤치마크에서 중요한 성과를 달성하여, 물리적 제약을 준수하고 인간을 감지하는 공간 인식을 평가합니다. 이 모델은 사람이 근처에 있을 때 휴머노이드 로봇을 성공적으로 멈추고, 해당 지역이 비워지면 자율적으로 작업을 재개합니다.

파이랩 정리