테슬라가 V12 버전의 FSD 스마트 운전 시스템을 발표한 것을 상징으로 스마트 운전은 하룻밤 사이에 종단간 시대에 접어들었다.
"종단간 모델 하한선 능력은 내년에 빠르게 향상될 것으로 보인다. 일단 향상되면 2년이 걸리지 않고 전 세계적으로 L4 표준을 뛰어넘을 수 있다."2024 항저우 윈서대회에서 허샤오펑자동차 회장은 종단간 대형 모델을 채택한 뒤 테슬라의 FSD는 이전과 완전히 달라져 내년에 인간 노사기보다 강해질 가능성이 있다고 말했다.
샤오펑자동차는 국내에서 가장 먼저 테슬라를 뒤따르는 자동차 기업 중 하나다. 올해 7월 말 샤오펑자동차는 사용자들에게 종단간 대형 모델을 기반으로 한 XNGP 스마트 운전 시스템을 푸시하기 시작했다.올해 9월까지 화웨이, 이상 등 자동차 업체들도 이미 사용자들에게 종단간 대형 모델을 기반으로 한 스마트 운전 시스템을 푸시하기 시작했다;울래는 AEB 시스템에 종단간 대형 모델을 적용하고 자체 개발한 세계 모델을 발표했다.
엔드투엔드 대형 모델의 승차와 함께 자동차 회사들의 스마트 운전에 대한 홍보도 더욱 급진적이다. 한때 떠들썩하고 소란스러웠던 지운전 개성, 고정지도 가기 등은 더 이상 인기 있는 것이 아니다. 문-문, 점-점을 갖춘 운전 보조 시스템을 출시하는 것이 정식으로 일정표를 향상시켰다.샤오펑자동차는 L2급 스마트 운전의 하드웨어 비용으로 L3 + 급 자율주행 사용자 경험을 실현할 수 있다고 주장했다.
한동안 종단간 능력을 갖추지 못한 지능운전시스템은 이미 락후와 관계를 끊은것 같다."큰 모형을 사용하지 않은 지운전은 모두 도태될 것이다."허샤오펑은 또 모든 L4 자율주행 회사들이 가능한 한 빨리 큰 모형을 전환해야 한다고 말했다.
천타오자본은 3자와 연합하여"종단간 자율주행 업계 연구 보고서"(이하"보고"라 함) 를 발표했는데,"보고"에 따르면, 그가 인터뷰한 30여 명의 자율주행 업계 일선 전문가 중 90% 가 자신이 근무하는 회사가 이미 종단간 기술 개발에 투입되었으며, 대부분의 기술 회사들은 이번 기술 혁명을 놓친 결과를 감당하기 어렵다고 생각한다.
그러나 모든"게이머"가 종단간 큰 모형을 현재의 지능운전시스템구도의 전복자로 인정하는것은 아니다.
경주지항 CTO 허우총은 제일재경 기자에게"미국에서 테슬라 FSD V12.3 시스템을 체험했다"며"테슬라의 이전 FSD와 많이 발전했지만 규제위주의 웨이모 로보택시와 비교하면 여전히 뚜렷한 차이가 있다"고 말했다.전 투슨의 미래 창시자 허우샤오디는 업계에 이성적으로 대해야 하며 신화에서 끝까지 해서는 안 된다고 호소했다.
이번 기술의 논란 속에서 머스크, 허샤오펑 등 자동차 기업의 수장 인력은 매우 단정하다;허우총, 허우샤오디, 루톈청 (소마지행 CTO) 등 L4 스마트 운전 회사의 임원들은 종단간 큰 모델이 L2 스마트 운전 보조를 기술적으로 L4 자동 운전으로 직접 업그레이드할 수 없다고 생각한다.
"보고" 에서도 현재 기술이 아직 발전초기에 처해있기에 종단간 큰 모형이 차에 오르는것은 여전히 많은 응용곤경과 문제점을 시급히 해결해야 한다. 례를 들면 기술로선의 의견상이가 크고 데터와 계산력의 수요가 크며 시험검증방법이 아직 성숙되지 않고 자원투입이 거대한 등이다.
자율주행 종국으로 가는 도로에서 종단간 대형 모델도 순수 시각 감지, 레이더 융합 감지 등 이후 또 하나의 기술 노선에 대한 논란이 되고 있다.
테슬라가 다시 기술 변화를 이끌까?
일체화 압주, 배터리 차체 일체화 등 기술로부터 테슬라는 이미 신에너지자동차 기술의 업계 풍향계가 되었다.적지 않은 중국자동차기업들은"테슬라를 만지고 강을 건너는"것으로 여겨지고 종단간 큰 모형에 올라 테슬라가 또 한번 신에너지자동차의 변혁을 이끌었다.
종단간 큰 모형이 차에 오르기 전에 스마트 운전 보조 시스템은 대부분 감지, 계획, 의사결정, 제어 등 여러 모듈로 나뉘는데, 그 중 인공지능과 기계 학습은 주로 감지, 계획 등 부분에 응용되지만, 모듈은 주로 인공 필기 규칙으로 정의되어"rule-based"(규칙 기반) 라고 불린다.
그러나 시스템의 실제 작업에서 차량은 종종 무궁무진한 coner case (긴 꼬리 문제) 에 부딪히며, 이러한 문제를 해결하기 위해서는 엔지니어가 특정 장면에 따라 코드를 쓰고 규칙을 설정해야합니다.이 모드에서 스마트 운전 보조 또는 자동 운전 시스템은 종종 인공적으로 많은 규칙을 입력해야합니다.
엔비디아 글로벌 부사장이자 자동차 사업부 책임자인 우신주는"자율주행의 기존 알고리즘은 대부분 규칙에 기반하고 있다"며"무엇을 보고 어떻게 하는지는 간단하지만 규칙을 잘 세우는 것은 어려운 일"이라며"많은 인간 엔지니어들이 가능한 한 모든 가능성을 생각해야 하는데 이런 방법에는 상한선이 있다"고 말했다.
전통적인 규칙 기반 스마트 운전 보조 시스템과 달리 종단간 자동 운전 솔루션은 감지에서 규정 제어에 이르는 전 과정을 첨단 알고리즘과 딥 러닝 기술을 통해 처리한다는 것을 의미한다.
엔드 투 엔드 기술의 자동 운전에서의 응용은 원래 감지, 예측, 계획 등 여러 모델을 조합한 구조를"감지 의사 결정 일체화"의 단일 모델 구조로 변화시켰다.
신다증권이 발표한 한 연구보고에 따르면"끝에서 끝까지"는 한끝에서 영상 등 환경데터정보를 입력하고 중간에"블랙박스"와 류사한 다층신경망모형을 겪으며 다른 한끝은 직접 조향, 제동, 가속 등 운전지령을 출력하는것을 말한다.
전통적인 규칙 구동의 모듈 아키텍처에 비해 종단간 실현은 일련의 우세를 가져올 것이다: 완전히 데이터 구동에 기초하여 전역 임무 최적화를 진행하고, 더 좋고 더 빠른 오류 수정 능력을 갖추고 있다;모듈 간 정보의 손상 전달, 지연 및 이중화를 더욱 줄이고 오차 누적을 피하며 계산 효율을 높일 수 있다;일반화 능력이 더 강하고, Rule-based (규칙 기반) 에서 Learning-based (학습 기반) 로 전환되며, 제로 샘플 학습 능력을 갖추고 있으며, 미지의 장면에 직면하여 더 강한 의사 결정 능력을 갖추고 있다.
엔드 투 엔드 대형 모델의 추가 하에 스마트 운전 시스템은 더 빠른 반복과 진보를 실현할 수 있다.샤오펑의 XNGP를 예로 들면, 종단간 대형 모델을 응용한 후, 그 3망 합일 신경망 XNet + 규정 제어 대형 모델 XPlanner + AI 대언어 모델 XBrain은 2일마다 한 번씩 교체할 수 있고, 스마트 운전 능력은 18개월에 30배 향상될 수 있다;빠른 진단과 시간 단위로 긴 꼬리 문제를 해결할 수 있는 데이터 체계 능력과 신경 네트워크 아키텍처.
테슬라의 종단간 대형 모델이 차에 오르면서 2024년에는 중국 자동차 기업의 스마트 운전 기술 노선도 크게 바뀌기 시작했다.
지난 수년간 중국 자동차 기업의 스마트 운전 보조 시스템의 기술 노선 논란은 대부분 시각 감지, 융합 감지에 초점을 맞췄고, 단말기에서 겨루는 것은 개성 속도, 개성 수량 등이 더 많았다.2024년초, 화웨이, 소붕 등 기업은 여전히 무고정도화와 진정한"전국이 모두 열릴수 있는"것을 겨루고있다.
종단간 대형 모델이 승차한 후 스마트 운전 보조 시스템의 일반화 능력이 대폭 향상되었고, 단일 지역에 대한 검증, 개성으로 중요성이 떨어졌다.이와 동시에 종단간 이전의 감지, 계획, 결책, 제어 등 모듈구분을 약화시켰으며 여러 자동차기업도 종단간 큰 모형의 수요에 근거하여 자동운전팀의 조직구조를 재조정하기 시작했다.
2023년 년말, 리상은 지능운전팀에 대해 한차례 조직구조조정을 진행했다. 이번 조정에서 리상은 큰 모형을 다시 하나의 팀으로 구성하여 전단계산법연구개발팀 아래에 놓고 전체적으로 종단간 구조의 연구개발, 승차를 책임진다.2024년, 울래는 대모형부, 배치구조와 방안부, 시공정보부를 설립하고 원래의 감지부, 계획과 통제부, 환경정보부 및 방안교부부를 취소한다.
비록 종단간 승차가 한창이지만 현재 대부분 중국자동차기업은 리론적인"One-Mode"의 종단간 지능운전을 실현하지 못하고있다.
모 자동운전회사 CTO는 기자에게 종단간 모형의 지운전응용을 두가지 단계로 나눌수 있다고 알려주었다. 첫 번째 단계는 two-model의 방안으로서 종단간 감지와 종단간 규제로 구성되는데 이는 현재 업계에서 비교적 주류를 이루고있는 한 방향이다.두 번째 단계는 one-model의 방안이다. 하나의 큰 모델은 정보를 의사결정 출력에 입력하여 AGI의 방향에 더욱 가깝게 하는 것을 해결한다. 그러나 이 방향은 난이도가 비교적 높다. 3~5년 후에야 일부 규모화된 응용을 얻을 것으로 예상된다.
현재 업계에서는 국내 자동차 기업과 테슬라의 연구 개발 진도 차가 대략 1.5~2년이라고 보고 있다.체리자동차주식유한회사 부총경리 곡준려는 상업모델에서 테슬라를 따라잡으려면 반드시 제품의 규모화를 형성해야 한다고 인정했다."데이터가 테슬라급인 밀리언급 이상이 되면 모델에 대한 강화 훈련을 통해 지운전이 비디오 스트리밍을 배울 수 있고, 운전자에게 현재 유행하는 ChatGPT처럼 운전의 방향을 직접 알려줄 수 있다"고 구쥔리는 말했다.
완성차 공장과 공급업체가 노선 불일치를 일으키는가?
많은 자동차 회사들이 잇달아 종단간 대형 모델을 출시하고 자율주행 시대가 도래할 것으로 예상되는 가운데 자율주행에 집중하는 많은 공급업체들이 다른 목소리를 내고 있다.
"테슬라가 종단간 FSD를 출시한 이후 일부 문제가 생겼다. 차는 늘 쉽게 어깨에 오른다. 특히 밤에는 어떤 때는 문지르고, 어떤 때는 직접 어깨에 뛰어들어 타이어를 찌그러뜨린다." 후총은 기자에게 마찬가지로 미국에서도 웨이모는 종단간 큰 모델을 채택하지 않았지만 이미 여러 도시에서 무인화된 로보택시 운영을 실현할 수 있어 사용자들의 반응도 상당히 좋다고 말했다.
종단간 대형 모델 자체는 최근 몇 년 만에 돌파를 이룬 신기술이 아니다.
"2010년 전후 딥러닝이 등장하기 전에는 모델 분석 알고리즘이라고 불렀다.당시 우리는 칭화대학에서 보행자 검사를 한 적이 있다. 이미지에서 사람의 어깨의 호도, 눈의 색깔 등 일부 특징 정보를 추출해야 한다. 이런 특징은 우리 인력이 귀납한 것이다. 즉 rule based이다. 그러나 딥러닝이 나온 후 우리는 이미지를 입력하여 딥러닝 자율 학습을 하게 한다. 마지막에는 사람마다 다른 특징이 딥 러닝에서 나온 똑똑한 쪽과 현재 지능형 데이터가 같은 것을 정의한다.
이것은 또한 자동차 회사들이 엔드 투 엔드 모델을 경쟁적으로 선택하는 중요한 요소 중 하나로 간주됩니다.
100여대의 시험차대만 운영하는 L4 자동운전공급업체에 비해 자동차기업은 일반적으로 수십만 내지 백만대 이상의 제품을 가지고 도로를 운행하는데 사용자가 운전하는 과정에 대량의 수치를 산생할수 있는데 이는 자동차기업이 자신의 종단간 지능운전시스템을 훈련하고 시스템이 쾌속적인 교체를 실현하도록 도와주는데 도움이 된다.
이밖에 모 L2 + 지능운전보조시스템공급업체의 공정사 동군은 기자에게 공급업체로서는 종단간 지운전이 표준화된 제품으로 되기 어렵다고 알려주었다.차체 형식의 변화, 센서 설치 위치의 변화 등 시스템 전체가 모델을 재훈련해야 하기 때문에 많은 비용과 시간이 필요하고 효율이 좋지 않다.
L2 운전 보조에 대한 종단간 대형 모델의 의의는 개성 속도를 가속화하고 자동차 기업이 말하는"전국 모두 운전할 수 있다"는 것을 가속화할 수 있다는 것이다.그러나 L4급 자율주행 회사의 경우, 종단간 대형 모델도 운영 초기 단계에서 고정지도에 대한 시스템 의존도를 낮출 수 있어 회사가 더 빠른 시간에 운영 범위를 확대할 수 있다;그러나 운영의 중후반까지 고정지도는 여전히 중요한 영향을 끼쳤으며 자동운전시스템의 신뢰성, 안전성과 류창성을 한층 더 제고시킬수 있었다.
다른 한편으로 테슬라, 리상과 같이 이미 리윤을 실현한 자동차기업에 비해 현재 절대다수의 자동운전회사는 주로 융자에 의해 수혈되고있다.그러나 종단간 큰 모형이 차에 오르려면 대량의 데이터가 필요할 뿐만 아니라 대량의 자금 투입도 필요하다.
"앞으로 스마트 드라이빙이 L4단계에 진입하면 매년 데이터와 계산력이 기하급수적으로 증가한다. 이는 매년 최소 10억 달러가 필요하고 5년 후에는 지속적으로 반복해야 한다는 것을 의미한다.이런 체급에서 한 기업의 이윤과 이윤이 투입을 지탱하지 못하면 매우 어렵다.그래서 지금은 몇 억을 들여 자율주행을 하는지에 관심을 기울일 필요가 없다. 본질적으로 계산력과 데이터 지원이 충분한지, 다시 한 번 스마트 드라이빙에 대해 함 부사장이 말했다.
극월자동차 CEO 하일평은 다음과 같이 인정했다. 200억원은 일찍 자동차제조의 자금문턱으로 공인되였다. 현재 기업은 500억원이 없어도 지운전을 잘할수 없다.
더욱 중요한것은 웨이모, 소마지행처럼 L4 로보택시 실현을 지향하는 자동운전회사의 경우 시스템의 가중치, 원가 등에 대한 그들의 고려는 완성차공장과 거대한 차이가 있다.
L2 운전 보조와 달리 L3급 이상 자율주행은 사고의 책임 주체가 차량으로 이동하게 돼 자율주행 시스템의 안정성, 안전성에 대한 요구가 매우 높다.종단간 대형 모델 블랙박스의 불가해석성은 자율주행 시스템에 일정한 위험을 가져왔다.
둥쥔은"자동차 기업들이 엔드투엔드 모델의 지운전을 잇달아 출시하고 대대적으로 선전하고 있는데, 핵심은 역시 차별화를 만들기 위한 것이다. 목적은 차를 팔기 위한 것이다."라고 말했다.
허우샤오디는 언론과의 인터뷰에서"만약 테슬라의 FSD에서 사고가 발생한다면 책임은 역시 운전자"라며"테슬라는 운전자에게 운전대에 손을 올려달라고 요구했다"며"사고는 테슬라와 무관하다"고 말했다.또한 테슬라의 사업은 차를 파는 것이고, FSD는 차를 파는 부가가치이다.더 많은 차를 파는 방법을 고민하려면 L4처럼 한정된 구역에서 깊이 갈고 이 구역의 모든 corner case (극단적인 상황) 를 해결해서는 안 된다.
허우총 등 자율주행 회사의 인터뷰 대상자들은 L4 자율주행이 100% 안전을 요구하며 종단간의'블랙박스'에 따른 불가해석과 불확실성을 받아들일 수 없다고 제기했다.또한 L2와 L4는 비즈니스 논리에서 큰 차이가 있습니다.
완성차 공장의 입장에서 볼 때, 차를 파는 것은 주요 업무이며, 원가가 이윤과 시장 경쟁력을 결정하기 때문에, 그것은 제품에 있어서 반드시 너무 많은 안전 중복을 배치할 수 없다;L4 Robotaxi는 더 무겁게 운영되어 상당 기간 to b의 업무를 위주로 할 것이며, 소비자에게 직접 서비스를 제공하지 않을 것이다. 그렇다면 관련 회사는 차뿐만 아니라 차량 운영 중의 각종 상황도 고려해야 한다.
"예를 들어 차가 끼면 어떡해, 하드웨어가 고장나면 어떡해, 사고가 나면 어떡해, 그래서 더 많은 이중화가 필요한데, 테슬라는 웨이모와 마찬가지로 많은 이중화를 남겨둘 수 없다. 왜냐하면 양자의 비즈니스 논리가 다르기 때문이다."라고 허우총이 말했다.
세계 모델이 자율주행을 이룬다?
비록 의견상이가 존재하지만 여러 자동운전회사 기술자들은 취재를 받을 때 종단간 큰 모형에 올라 현재 자동차지능운전보조시스템의 능력상한선을 제고할수 있다는것을 인정하였다.여러 종사자들은 종단간 대형 모델이'시소'상태를 보이고 있으며, 종단간 대형 모델이 차에 오르면 스마트 운전 보조 시스템 능력의 상한선을 높일 수 있지만 시스템 표현의 하한선도 낮출 수 있다고 말했다.
"종단간 큰 모델은 하나의 확률모델에 기초하여 훈련한다. 그것은 비교적 간단하고 비교적 쉽게 묘사할수 있는 장면에 대한 문제가 있다. 흔히 그 출력이 그렇게 정확하지 못하고 최저선이 비교적 낮다. 테슬라는 이 부분에서 이미 상당히 잘했지만 아직 이 문제를 완전히 해결하지 못했다.우리는 현재 충분한 데이터가 부족한 조건에서 여전히 점차 종단간, 한 모듈, 한 모듈을 대체하여 종단간 성능의 하한선을 완성하는 동시에 튼튼한 단계의 성능을 향상시킬 수 있다고 생각한다."
종단간 큰 모델은 데이터 구동에 기초하고, 입력단은 센서 데이터이며, 출력단은 운전 결정이지만, 중간에 비교적 강한 불가해석성을 가지고 있으며, 사람은 시스템이 최종 결단을 내리는 과정을 알 수 없으며, 또한 종종 블랙박스에 비유된다.
허우총은 현재의 종단간 대형 모델 지운전과 이전의 규칙에 기초한 통제의 지운전은 자동차의 생산 절차와 약간 비슷하다고 생각한다."이전에 차를 만들면 자동차 기업이 다른 회사의 부품을 사서 하나로 묶는 것은 한편으로는 구매가 편리하고 공급업체를 분산시켜'목막힘'을 당하기도 쉽지 않다. 두 번째는 좋은 수리이고, 고장난 곳이 있으면 고치는 것이다.여러 모듈의 자동 운전도 마찬가지로 장점은 문제를 더 잘 정의하고 해결할 수 있다"고 말했다.
전통적인 다중 모듈 자동 운전의 경우, 시스템이 테스트에서 문제가 발생하면 연구 개발자는 상황에 따라 해당 분야에서 버그를 발견하고 복구할 수 있습니다.그러나 엔드 투 엔드 대형 모델과 같은 블랙박스의 경우 개발자는 전략을 훈련하고 다시 훈련하거나 모델을 수정할 수 있지만"블랙박스"의 매개변수를 수정할 수 있습니다.또한 시스템의 업그레이드와 교체에 따라 시스템이 해결하는 문제가 어려울수록 더 많은 비용 투입이 필요하며, 이는 종단간 큰 모델에 비교적 높은 문턱을 설정한다.
다른 한편으로 종단간 대모델은 데터구동에 기초하지만 대량의 데터가 반드시 시스템에 순방향의 제고를 가져올수 있는것은 아니다.
샤오마즈행 AI 팀 책임자 샤오보는 알고리즘이 좋고 시스템 훈련도 잘 되어 있어 대량의 인간 운전 데이터에서 배운 능력은 거의 평균 인간 운전 수준이라면 L2급의 스마트 운전 보조에 대응하기에 충분하다고 말했다.그러나 L4 또는 그 이상의 자동 운전은 인간 운전자의 10배 또는 그 이상의 능력을 필요로 하는데, 이 패턴은 지탱하기에 충분하지 않다.
종단간 빠른 보급 추세를 보일 때 국내 자동차 기업과 공급업체들은 다시 새로운'세계 모델'개념을 제시했다.루톈청은 세계 모델이 현재 가장 좋고 중요한 것이라며 자율주행으로 가는 유일한 해로 이해했다.
세계 모델은 실제 세계에 대한 모방과 모델링으로 이해할 수 있으며, 사거리 등 장면의 변화를 진실하고 정확하게 복원할 수 있다.예를 들어 귀신이 머리를 내밀 때 가려진 행인의 궤적;차량 충돌 순간의 보행자와 그의 차는 반응한다;심지어 사람이 달리기를 할 때 속도를 줄이면 중력 가속도에 도달할 수 있다는 등의 세부 사항까지 반영한다.이와 동시에 세계모형은 여전히 하나의 채점체계로서 자동운전시스템의 표현을 평가하여 A시스템과 B시스템이 누가 더 좋은가를 알수 있다.
이에 앞서 울래, 리상 등 자동차기업은 이미 잇달아 산하의"세계모형"을 발표했다.
임소경 울래자율주행 부사장은"일반적인 종단간 모델보다 새로운 세계 모델은 우리가 주요하게 생각하는 세 가지 장점이 있다.첫 번째는 공간 이해에서 생성식 모델을 통해 센서를 재구성하는 방식에서 더욱 일반화되어 정보를 추출한 것이다.자귀환 모델을 통해 장시간 환경을 자동으로 모델링한다.세 번째, 만천세계는 더 많은 데이터가 필요하며, 자체 감독 방식을 통해 인공 구조를 표시할 필요가 없다.
루톈청은 세계 모델은 인간이 시뮬레이션한'코치'로 이해할 수 있으며, L2 시스템의 경우 운전 능력이 베테랑 운전자와 같다고 주장한다.L4 시스템의 경우, 그의 운전 수준은 인간 운전자보다 훨씬 높으며, 그가 스마트 운전 시스템을 훈련시키면, 결과는 분명히 인간 운전자보다 나을 것이다.
여전히 논란에도 불구하고 대부분의 응답자들은 L2 스마트 운전 보조 단계에서 종단간 대형 모델이 관련 시스템의 성능 상한선을 확실히 향상시킬 수 있다고 생각한다.대부분의 L4 자율주행 회사의 종사자들이 인정하지 않는 것은 테슬라, 샤오펑 등 자동차 기업들이 엔드투엔드 기술을 대대적으로 선양하는 가운데 제품은 L2 스마트 운전을 기초로 하고 심지어 L2의 하드웨어 수준에서 L4 자율주행 능력을 실현한다는 것이다.
"현 단계의 자동차 회사들은 종단간 선전을 대대적으로 하여 종단간 자율주행으로 통하는 첨단 기술을 만들었는데, 배후에는 여전히 차를 많이 팔기 위한 것이 더 많다."라고 둥쥔이 말했다.