머스크는 OpenAI에 압력을 가하는 오픈 소스 자사의 최고 대형 모델에 대한 행동으로 반격했다
同志们好1
发表于 2024-3-18 13:13:47
1409
0
0
머스크는 자신이 AI 모델에 대한 오픈 소스를 항상 고수한다는 것을 보여주기 위해 알트만과는 전혀 다른 선택을 한 것으로 보인다.3월 17일, 머스크는 Grok-1을 오픈소스로 발표했는데, 이로 인해 Grok-1은 현재 가장 많은 매개변수를 가진 오픈 소스 대언어 모델이 되었고, 3140억 매개변수를 가지고 있어 OpenAI GPT-3.5의 1750억을 훨씬 초과했다.
흥미롭게도 Grok-1이 오픈 소스를 발표한 표지 그림은 Midjourney 생성으로'AI helps AI'라고 할 수 있다.
OpenAI가 오픈하지 않는다고 토로해 온 머스크는 당연히 소셜네트워크서비스 (SNS) 에서"우리는 OpenAI의 개방된 부분을 더 많이 알고 싶다"고 말했다.
Grok-1은 Apache 2.0 프로토콜에 따라 모델 가중치 및 스키마를 개방합니다.이것은 개인이든 상업용이든 사용자가 자유롭게 소프트웨어를 사용, 수정 및 배포할 수 있도록 허용한다는 것을 의미한다.이러한 개방성은 더 광범위한 연구 및 응용 개발을 장려합니다.프로젝트 발표 이후 지금까지 GitHub에서 6.5k 스타 마크를 획득했으며 열기는 계속 증가하고 있습니다.
프로젝트 설명에서 Grok-1은 규모가 큰 (314B 매개변수) 모델이기 때문에 샘플 코드를 사용하여 모델을 테스트하려면 GPU 메모리가 충분한 기계가 필요하다고 명시했습니다.네티즌들은 628GB의 GPU 메모리를 가진 기계가 필요할 수 있다고 말했다.
또한 이 저장소에서 MoE 레이어의 구현 효율은 높지 않습니다. 모델의 정확성을 검증하기 위해 사용자 정의 커널이 필요하지 않도록 하기 위해서입니다.
현재 오픈 소스의 인기 있는 대형 모델에는 Meta의 Llama2, 프랑스의 Mistral 등이 있습니다.일반적으로 오픈 소스 모델을 발표하는 것은 커뮤니티에서 대규모 테스트와 피드백을 전개하는 데 도움이 되며, 모델 자체의 반복 속도도 빨라질 수 있다는 것을 의미한다.
Grok-1은 머스크 산하 AI 스타트업 xAI가 지난 4개월 동안 개발한 하이브리드 전문가(Mixture-of-Experts·MOE) 대형 모델이다.이 모델의 개발 과정을 검토합니다.
xAI 설립을 발표한 후, 관련 연구자들은 먼저 330억 매개변수의 프로토타입 언어 모델 (Grok-0) 을 훈련시켰는데, 이 모델은 표준 언어 모델 테스트 기준에서 LLAMA2 (70B) 의 능력에 가깝지만 더 적은 훈련 자원을 사용했다;
그 후 연구자들은 모델의 추론 및 코딩 능력을 크게 향상시켜 2023 년 11 월에 Grok-1을 개발했습니다. 이 모델은 HumanEval 코딩 작업에서 63.2%, MMLU에서 73% 로 ChatGPT-3.5 및 Inflection-1을 포함한 컴퓨팅 클래스의 다른 모든 모델을 능가하는 강력한 SOTA 언어 모델입니다.
다른 대형 모델과 비교할 때 Grok-1의 장점은 어디에 있습니까?
xAI는 특히 Grok-1은 2023년 10월부터 사용자 정의 훈련 스택을 사용하여 JAX와 Rust에서 훈련하고 특정 임무 (예: 대화) 에 대한 미세 조정을 하지 않은 자신들이 처음부터 훈련하는 큰 모델이라고 강조했다.
Grok-1의 독특하고 기본적인 장점은 X 플랫폼을 통해 실시간으로 세계를 이해할 수 있으며, 이는 대부분의 다른 AI 시스템에서 거부당한 매운 질문에 대답할 수 있다는 것이다.Grok-1 릴리스에 사용된 훈련 데이터는 2023년 3분기까지의 인터넷 데이터와 xAI의 AI 트레이너가 제공한 데이터입니다.
3140억 매개변수의 Mixture-of-Experts 모델은 각 token에 대해 활성 가중치 비율이 25% 이며, 이 방대한 매개변수 양은 강력한 언어 이해와 생성 능력을 제공합니다.
xAI는 앞서 Grok-1이 Grok의 배후에 있는 엔진으로서 자연언어처리임무에 사용되며 문답, 정보검색, 창의작문과 코딩보조를 포함한다고 소개했다.앞으로 긴 컨텍스트의 이해와 검색, 다중모드 능력은 모두 이 모델이 탐색할 방향 중의 하나이다.
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 바이두 오단: 지식 증강 대형 모델 재구성 산업 디지털 엔진
- iPhone 16 두 모델의 배송 시간이 단축되었습니다!무슨 신호?
- 애플, 인도 아이폰 모델별 판매가격 인하
- 유럽 프라이버시 규제 기관, 구글이 인공지능 모델에 데이터 활용 실태 조사
- 바이두 심떨림: 10만 카드 계산력 클러스터를 대상으로 계산 플랫폼 능력 문심 대모델 하루 조정량 7억 회 초과
- 메타, 메가톤급 신제품 발표: 299달러 Quest 3S 헤드, AR 안경 프로토타입, 다중모드 AI 모델
- 바이두 월드 2024는 11월 12일에 열릴 문심 대형 모델의 하루 평균 호출량이 이미 7억 건을 초과했다
- 포드 CEO는"지루한"모델 제조에 싫증이 났고, 개성화와 전동화 제품은"새로운 기쁨"이 되었다
- 홍콩 주식 애플 산업 사슬 상승!iPhone 16 Pro 모델의 수요는 여전히 견조하며 향후 판매량은 어떻습니까?
- 머스크 Cybercab 출시 임박!국내의 많은 거두들이 앞다투어 Robotaxi 중국 모델을 탐색하다
-
10月10日、中国証券報・中証牡牛座記者は、微信が淘宝リンクを開いて直接買い物をすることをサポートしていることを明らかにした。ユーザーは微信App内でタオバオのリンクを直接クリックし、注文と支払いを完了する ...
- copricus
- 昨天 14:08
- 支持
- 反对
- 回复
- 收藏
-
先月、FRBは50ベーシスポイントの「急進的な下落幅」で緩和サイクルを開いたが、最新の議事録は、FRB内部のこの決定に対する食い違いが大きいことを明らかにした。 議事録によると、ほとんどの参加者は連邦基金金利 ...
- 什么大师特
- 昨天 10:38
- 支持
- 反对
- 回复
- 收藏
-
今週月曜日の米国債市場の急落相場はさらに拡大し、基準10年物の米国債利回りは4%台を回復し、8月以来の高水準となった。先週金曜日に発表された米雇用報告書が予想をはるかに上回ったため、トレーダーはFRBの金融 ...
- wangjking
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
テスラはこのほど、Robotaxiの無人タクシーを正式に展示するイベントを北京時間10月11日にロサンゼルスのバーバンクワーナー・ブラザーズ・スタジオで開催する予定だと発表した。テスラRoboTaxiの発表を控えて、A株 ...
- 魔幻双琪座双q
- 前天 19:36
- 支持
- 反对
- 回复
- 收藏