매경 기자 가양
4월 16일, 바이두의 창시자이며 리사장 겸 최고경영자인 리언굉은 Create 2024 바이두 AI 개발자대회에서 문심대모델 4.0의 도구판을 정식으로 발표한다고 선포했다.
리언굉은 다음과 같이 표시했다. 1년전에 비해 문심대모델의 계산법훈련효률은 원래의 5.1배로 제고되였고 주균훈련효률은 98.8% 에 달했으며 추리성능은 105배 제고되였고 추리의 원가는 원래의 1% 로 낮아졌다."즉, 고객은 원래 하루에 1만 번을 호출했는데, 같은 비용으로 지금은 하루에 100만 번을 호출할 수 있다."
이밖에 리언굉은 강연에서 바이두가 지난 한해동안 실천해낸, AI 원생응용을 개발하는 구체적인 사고방식과 도구를 공유했다."이것은 우리 바이두가 지난 1년간의 실천에 근거하여 무수한 구덩이를 밟고 비싼 학비를 내고 바꿔온것이다."그는 대언어모형 자체가 직접 가치를 창조하는것은 아니며 대모형을 기반으로 개발된 AI응용만이 진실한 시장수요를 만족시킬수 있다고 강조했다.
리언굉은 우선 앞으로 대형의 AI 원생응용은 기본적으로 모두 MoE라고 표시했다.그는 "여기서 말하는 MoE는 일반적인 학문적 개념이 아니라 하나의 모델에 의존하지 않고 모든 문제를 해결하는 크고 작은 모델의 혼용"이라고 소개했다.
둘째, 리옌훙은 작은 모델의 추리 비용이 낮고 응답 속도가 빠르며, 일부 특정 장면에서 미세 조정을 거친 작은 모델의 사용 효과는 큰 모델에 필적할 수 있다고 말했다.바이두가 ERNIE Speed, ERNIE Lite, ERNIE Tiny 등 세 가지 경량 모델을 발표한 이유이기도 하다."우리는 큰 모델을 통해'증류'를 통해 기초 모델을 압축한 다음 데이터로 훈련한다. 이것은 처음부터 작은 모델을 훈련하는 것보다 훨씬 효과가 좋다. 오픈 소스 모델을 기반으로 훈련하는 모델보다 효과가 더 좋다. 속도가 더 빠르고 원가가 더 낮다."라고 그는 말했다.
셋째는 지능체이다.리언굉은 다음과 같이 표시했다."지능체"는 현재 아주 뜨거운 화제로서 지능체의 능력이 제고됨에 따라 끊임없이 대량의 AI 원생응용을 산생하게 된다.지능체메커니즘에는 리해, 계획, 반성과 진화가 포함되는데 이는 기계가 사람처럼 사고하고 행동하며 자주적으로 복잡한 임무를 완수할수 있으며 환경속에서 지속적으로 학습하고 자아교체와 자아진화를 실현할수 있다."일부 복잡한 시스템에서 우리는 또 부동한 지능체가 상호작용하고 서로 협력하여 더욱 높은 품질로 임무를 완수할수 있다.이런 지능체능력은 우리가 이미 개발했으며 개발자들에게 전면적으로 개방되였다."리언굉은 다음과 같이 소개했다.