4월 18일 (현지 시간) AI 분야가 메가톤급 소식을 맞아 메타는 사람들이 기다리던 오픈 소스 대형 모델 Llama 3를 공식 발표했다.
이와 함께 저커버그 메타 최고경영자 (CEO) 는 최신 Llama 3 모델을 기반으로 메타의 AI 어시스턴트가 현재 인스타그램, 왓츠앱, 페이스북 등 전 계열 애플리케이션을 커버하고 있으며 단독으로 웹사이트를 열었다고 발표했다.자연어 제시어에 따라 그림을 생성할 수 있는 이미지 생성기도 있습니다.
메타의 CEO 마크 저커버그는 한 동영상에서 이 보좌관이 질문에 대답하고 애니메이션을 제작하며 이미지를 생성할수 있다고 밝혔다.
저커버그 페이스북 글: Big AI news today
마크 저커버그 메타 최고경영자 (CEO) 는 동영상에서"우리는 메타 AI가 이제 당신이 자유롭게 사용할 수 있는 가장 지능적인 인공지능 어시스턴트라고 믿는다.메타 AI는 왓츠앱, 인스타그램, 페이스북, 메신저 앱의 검색창에 내장돼 있어 새로운 도구로 대답할 수 있는 질문을 쉽게 던질 수 있다.
저커버그는 메타가 제공하는 생성형 AI 능력이 무료 제품 중 가장 강력한 성능이라고 밝혔다.
Facebook, Instagram, WhatsApp 및 Messenger에서 사용자는 이제 애플리케이션 간 전환 없이 Meta AI를 사용하여 검색할 수 있습니다.
정보 흐름을 탐색할 때 게시물에서 Meta AI에게 직접 더 많은 정보를 물어볼 수도 있습니다.
이미지 생성기가 제공하는 플레이는 더욱 흥미롭습니다. Imagine 기능은 텍스트에서 실시간으로 이미지를 만들 수 있습니다.이 기능의 베타 버전은 오늘부터 미국의 WhatsApp과 Meta AI 네트워크 경험에서 출시되었습니다.
타자를 시작할 때 이미지가 나타나고 몇 글자를 더 입력할 때마다 이미지가 변경됩니다.
메타는 다음과 같이 표시했다. Llama 3는 여러 관건적인 기준테스트에서 성능이 업계의 선진적인 동종모델보다 우월하며 코드생성 등 임무에서 전면적으로 앞자리를 차지하여 복잡한 추리를 진행할수 있고 지령을 더욱 따를수 있으며 생각을 시각화하고 많은 미묘한 문제를 해결할수 있다.
Llama 3의 주요 특징은 다음과 같습니다.
Llama 2 데이터 세트의 7배가 넘는 15T token 훈련을 기반으로 합니다.
8K 긴 텍스트를 지원하며 개선된 tokenizer는 128K token의 어휘량을 가지고 있어 더 나은 성능을 구현할 수 있습니다.
많은 주요 벤치마크 중 최첨단 성능을 제공합니다.
강화된 추리와 코드 능력을 포함한 새로운 능력 범주;
Llama 2보다 훈련 효율이 3배 높습니다.
Llama Guard 2, Code Shield 및 CyberSec Eval 2가 포함된 새로운 신뢰 및 보안 도구.
방금 출시 된 8B 및 70B 버전 Llama 3 모델은 Meta AI 어시스턴트에 사용되었으며 사전 훈련 및 미세 조정 버전을 포함하여 개발자를 대상으로 오픈 소스를 제공합니다.
최근 발표된 8B와 70B 매개변수의 Llama 3 모델은 Llama 2의 중대한 도약이라고 할 수 있다. 사전 훈련 및 후 훈련 (Post-training) 의 개선으로 이번에 발표된 사전 훈련 및 명령 미세 조정 모델은 현재 8B와 70B 매개변수 규모 중 가장 좋은 모델이다.이와 동시에 후훈련과정의 개진은 모델오류률을 크게 낮추고 일치성을 한층 더 개선하였으며 모델응답의 다양성을 증가시켰다.
Llama 3는 데이터와 규모를 새로운 차원으로 끌어올립니다.메타에 따르면 Llama 3는 두 개의 사용자 정의 24K GPU 클러스터에서 15T token 이상의 데이터를 기반으로 훈련되었습니다. Llama 2 데이터 세트의 7배 이상, 코드 데이터는 Llama 2의 4배에 해당합니다.따라서 지금까지 가장 강력한 Llama 모델이 생성되었으며 Llama 3는 Llama 2 용량의 두 배인 8K 컨텍스트 길이를 지원합니다.
또한 Meta는 새로운 고품질 인간 평가 데이터 세트를 개발했습니다.이 평가집에는 1800개의 힌트가 포함되어 있으며 12개의 핵심 용례를 포함한다: 조언 추구, 브레인스토밍, 분류, 폐쇄형 문답, 코딩, 창의적 글쓰기, 추출, 역할 만들기, 개방형 문답, 추리, 다시 쓰기 및 요약.Llama 3이 평가 세트에서 과도하게 적합해지는 것을 방지하기 위해 Meta는 자체 팀도 데이터 세트에 액세스할 수 없다고 밝혔다.다음 그림은 Claude Sonnet, Mistral Medium 및 GPT-3.5의 이러한 범주 및 팁에 대한 수동 평가 결과를 보여줍니다.
다음 그림은 SOTA 수준을 나타내는 Llama 3 사전 훈련 모델과 다른 동등한 규모의 모델을 비교한 것입니다.
최고의 언어 모델을 훈련하기 위해서는 크고 질 높은 훈련 데이터 세트를 관리하는 것이 중요합니다.메타는 사전 훈련 데이터에 많은 비용을 투자했습니다.Llama 3는 공개 소스에서 수집 된 15T 이상의 토큰을 사용하여 사전 훈련을 수행했습니다.전체적으로 Llama 3의 훈련 데이터 세트는 Llama 2가 사용하는 데이터 세트의 7 배 이상이며 4 배 이상의 코드를 포함합니다.다가오는 다국어 사용 사례에 대비하기 위해 5% 이상의 Llama 3 사전 훈련 데이터 세트는 30 개 이상의 언어를 포함하는 고품질 비영어 데이터로 구성됩니다.그러나 이들 언어에서 Llama 3의 성능 수준은 영어와 같지 않을 것으로 예상된다.
Llama 3가 최고 품질의 데이터에 대한 훈련을 받도록 하기 위해 연구팀은 계발식 필터 (filter), NSFW 필터, 의미 중복 제거 방법 및 텍스트 분류기를 사용하여 데이터 품질을 예측하는 등 일련의 데이터 필터링 pipeline을 개발했다.
연구팀은 이전 세대의 Llama가 고품질 데이터를 식별하는 데 매우 능숙하다는 것을 발견했으며, 따라서 Meta는 Llama 2를 사용하여 Llama 3를 지원하는 텍스트 품질 분류기에 훈련 데이터를 생성합니다.
연구진은 또 최종 사전 훈련 데이터에 서로 다른 출처의 데이터를 집중시키는 가장 좋은 혼합 방식을 평가하기 위해 광범위한 실험을 진행했으며, 최종적으로 Llama 3가 다양한 용례 (일상 문제, STEM, 코딩, 역사 지식 등 포함) 에서 좋은 모습을 보일 수 있도록 했다.
메타는 가장 큰 Llama 3 매개변수가 400B를 초과했으며 이들 기종은 여전히 훈련 중이지만 앞으로 몇 달 동안 계속해서 발표될 예정이며 새로운 기능에는 다중 모드, 다중 언어 대화 능력, 더 긴 컨텍스트 창 및 더 강한 전체 능력이 포함된다고 밝혔다.
메타는 Llama 3가 OpenAI의 GPT-4를 따라잡을 수 있기를 희망한다.그러나 연구진이 아직 Llama3에 대한 미세조정을 시작하지 않았기 때문에 Llama3가 다중모드모델이 될지는 아직 결정되지 않았다고 소식통들은 전했다.마이크로 튜닝은 개발자가 새로운 정보나 작업을 학습할 수 있도록 기존 모델에 추가 데이터를 제공하는 프로세스입니다.큰 모델은 일반적으로 더 높은 품질의 답변을 제공하지만 작은 모델은 종종 더 빨리 답변을 제공합니다.정식 버전인 Llama 3는 올해 7월에 정식 출시될 것이라는 소식이다.
메타는 또 알파벳의 구글과 새로운 파트너십을 선언하고 어시스턴트의 답변에 실시간 검색 결과를 포함해 마이크로소프트와의 기존 협력을 보완하겠다고 밝혔다.이번 업데이트에 따라 메타 AI 어시스턴트는 호주, 캐나다, 싱가포르, 나이지리아, 파키스탄을 포함한 미국 이외의 10여 개 시장으로 확장되고 있다.콕스는 메타가"여전히 유럽에서 올바른 방식으로 그것을 하기 위해 노력하고 있다"고 말했다.유럽의 프라이버시 규정은 더욱 엄격해졌고, 곧 출범할 인공지능 법안도 모델 훈련 데이터 공개 등을 요구할 예정이다.
转播
