메타,'최강 오픈 소스 대형 모델'발표...오픈소스와 폐소스 싸움 새 페이지 큰 모델 펼치거나 재재편 맞이
空港训港j
发表于 2024-7-28 10:40:22
1482
0
0
Meta는 7 월 23 일 (현지 시간) 언어 모델 Llama3.1의 최신 버전을 공식 발표했습니다.이번 발표는 AI 커뮤니티에서'오픈 소스 낙후론'에 대한 강력한 반격으로 받아들여졌고, 메타 창업자인 저커버그 CEO도 발표 당시"개원 AI는 미래로 가는 길"이라고 말했다.
그동안 OpenAI는 ChatGPT의 폐쇄성 때문에"Open"이라는 이름이지만 실제로"Close"의 일을 하고 있다고 외부의 비난을 받아왔으며, ChatGPT-4o로 대표되는 폐원대모델의 실력은 종종 업계를 뒷걸음질치게 했다."폐원대모델의 성능이 반드시 개원대모델보다 강하다"는 관념은 이미 묵인된 것 같다.
그러나 이번 Llama3.1의 발표는 이 구도를 다시 쓸 것으로 보인다.이번 메타는 Llama3.1의 세 가지 버전을 발표했는데, 각각 8B, 70B, 405B이며, 그 중 405B는"상단"버전이며, 메타는 최고의 폐원 모델에 필적할 수 있는 성능을 자랑한다.
"최강 오픈 소스 대형 모델"
Llama3.1 405B는 무엇으로 최고의 폐원 모델과 우열을 가릴 수 있습니까?Llama3.1을 발표하면서 Meta는 Llama3 모델의 개발 세부 사항을 상세히 설명한'The Llama 3 Herd of Models'라는 논문을 발표했다.
첫째, Llama3.1은 8 개 언어를 지원하며 세 가지 버전의 컨텍스트 창이 GPT-4 Turbo와 동일한 128K로 확장되었습니다.동시에 Llama3.1 405B는 4050억 개의 모델 매개변수를 가지고 있으며, 훈련 규모는 Llama2의 50배이며, 더 안정적인 성능을 유지하기 위해 밀집된 Transformer 아키텍처를 사용한다.이렇게 되면 Llama가 한 번에 처리할 수 있는 텍스트의 수는 9만 6천 자에 달하며, 동시에 긴 텍스트든 짧은 텍스트든'뜻대로'처리할 수 있다.
논문에서 Meta는 또한 Llama3.1 405B와 ChatGPT-4o 및 Claude3.5 Sonnet 같은 헤드 폐쇄 소스 대형 모델의 성능 비교 데이터를 발표했습니다.테스트 결과에 따르면 Llama3.1 405B는 범용 성능, 긴 텍스트 처리 및 다국어 처리의 여러 방면에서 모두 선두를 달리고 있다.예를 들어 ZeroSCROLLS 프로젝트 테스트에서 Llama3.1 405B의 점수는 95.2이고 그 후 둘 다 90.5이다.
우수한 성능과 방대한 훈련 기수로 인해 Llama3.1은"최강 오픈 소스 대형 모델"이라는 칭호를 가지고 있지만, 현재의 Llama3.1은 여전히 언어 처리 위주의 대형 모델이며, 이미지, 비디오 또는 음성 처리를 지원하지 않는다. 이는 다중 모드 작업 처리에서 ChatGPT가 여전히 뛰어난 능력을 가지고 있다는 것을 의미한다.
"개원 AI는 미래의 길"
Llama의 실제 사용 경험은 아직 완벽하지 않을 수도 있지만, 이번 Llama 3.1 405B의 발표가 전 세계 AI 종사자들에게 가장 큰 의미는 역시 큰 모델의 오픈 소스와 오프 소스 싸움이 또 새로운 페이지를 열었다는 데 있다.
메타 홈페이지에서 저커버그는 공개서한을 통해"개원 AI는 미래로 가는 길"이라고 확고히 대외적으로 선언했다.편지에서 그는 여러 회사가 선도적인 폐원 모델을 개발하고 있지만 개원은 빠르게 격차를 좁히고 있다고 밝혔다.Llama의 경우, 작년에 Llama2는 범용 대형 모델의 오래된 버전에 필적할 수밖에 없었는데, 올해 Llama3는 최첨단 대형 모델과 경쟁하고 일부 분야에서 앞서고 있다.
따라서 저커버그는 Llama를 대형 모델 시대의 Linux로 만들어 오픈 소스 AI의 업계 표준이 되기를 희망한다."고성능 컴퓨팅 초기에 주요 기술 회사들은 자체 폐쇄 소스 Unix 버전을 개발하기 위해 거액을 투자했습니다...오늘날 오픈 소스 Linux는 클라우드 컴퓨팅과 대부분의 모바일 장치를 실행하는 운영 체제의 산업 표준 기반이되었으며 인공 지능이 비슷한 방식으로 발전 할 것이라고 믿습니다."
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 월마트는 샘의"전치 창고"모델을 복제하여 작은 가게를 열 수도 있다
- DeepMind 오픈 소스 생체 분자 예측 모델 노상 성과는 AI 제약 물결을 일으킬 것인가?
- 바이두 리언굉: 지난 24개월간 AI 업종의 가장 큰 변화는 큰 모형이 기본적으로 환각을 제거한것이다
- "AI 신세대"대모형제조업체 일제히"권"지능체, 리언굉은"생각으로 돈을 벌수 있는 시대"를 맞이하게 된다고 말했다.
- 극크립톤, 전계차종과 함께 광주모터쇼 첫 광대한 지운전 2.0 종단간 Plus 구조 선보여
- 문심일언 사용자 수 4억 돌파, 바이두 오단: 큰 모형이 산업 스마트 엔진을 재창조하고 있다
- 올해 10월 테슬라 모델 Y가 일선, 신일선 도시 모델 판매 1위를 차지했다
- 알리바바 CEO 오영명: AI 발전은 부동한 규모, 부동한 령역의 개원대모형이 필요하다
- 바이두 Q3 핵심 순이익 17% 증가 예상 초과 문심대 모델 하루 조정량 15억
-
11月21日、2024世界インターネット大会烏鎮サミットで、創業者、CEOの周源氏が大会デジタル教育フォーラムとインターネット企業家フォーラムでそれぞれ講演、発言したことを知っている。周源氏によると、デジタル教 ...
- 不正经的工程师
- 昨天 16:36
- 支持
- 反对
- 回复
- 收藏
-
アリババは、26億5000万ドルのドル建て優先無担保手形と170億元の人民元建て優先無担保手形の定価を発表した。ドル債の発行は2024年11月26日に終了する予定です。人民元債券の発行は2024年11月28日に終了する予定だ ...
- SOGO
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
スターバックスが中国事業の株式売却の可能性を検討していることが明らかになった。 11月21日、外国メディアによると、スターバックスは中国事業の株式売却を検討している。関係者によると、スターバックスは中国事 ...
- 献世八宝掌
- 前天 16:29
- 支持
- 反对
- 回复
- 收藏
-
【意法半導体CEO:中国市場は非常に重要で華虹と協力を展開】北京時間11月21日、意法半導体(STM.N)は投資家活動の現場で、同社が中国ウェハー代工場の華虹公司(688347.SH)と協力していると発表した。伊仏半導体 ...
- 黄俊琼
- 前天 14:29
- 支持
- 反对
- 回复
- 收藏