바이두 스마트 클라우드 2대 AI 인프라 업그레이드

清风吹袭断

9월 25일, 바이두 스마트 클라우드는 2024 바이두 클라우드 지혜 대회에서 각각 계산력, 모델, AI 응용을 겨냥하여 100 AI 이기종 컴퓨팅 플랫폼 4.0, 천범대 모델 플랫폼 3.0 양대 AI 인프라를 전면적으로 업그레이드하고 코드 어시스턴트, 스마트 고객센터, 디지털인 3대 AI 원생 응용 제품을 업그레이드한다고 발표했다.
"2024년 대형 모델의 산업 착지가 가속화되고 있다. 현재 천범대 모델 플랫폼에서 문심대 모델의 하루 평균 호출량은 7억 회를 넘어 누적 사용자가 3만 개의 대형 모델을 정교하게 조정하고 70여만 개의 기업급 응용을 개설할 수 있도록 도왔다.지난 한 해 동안 문심 플래그십 대형 모델의 가격 인하 폭은 90% 를 넘었고 주력 모델은 전면적으로 무료이며 기업 혁신 시행착오의 원가를 최대한 낮췄다"고 바이두 그룹 집행 부총재, 바이두 스마트 사업 플랫폼 및 새로운 인프라 관리 심일 대 모델,
큰 계산력은 큰 모형이 착지하는 기초조건이다.소개에 따르면, 기업 착지 대형 모델의 클러스터 생성, 개발 실험, 모델 훈련, 추리에 이르는 전 여정 계산력 수요를 만족시키기 위해 초대규모 GPU 클러스터의 고비용, 운영하기 어려운 두 가지 큰 도전에 대응하기 위해 바이두 스마트 클라우드 업그레이드는 100 AI 이기종 계산 플랫폼 4.0을 발표하여 만 카드, 10만 카드 클러스터를 대상으로 계산력 관리 능력을 전면적으로 업그레이드한다.
그 중, 클러스터 생성 단계에서 기업은 일반적으로 대량의 복잡하고 자질구레한 계산력 배치와 디버깅 작업을 진행해야 한다.바이 4.0은 도구 차원의 초급 배치를 실현할 수 있는 메인스트림 대형 모델 훈련 도구를 미리 설치하고 만 카드 클러스터 운영 준비 시간을 몇 주에서 1시간으로 줄여 배치 효율을 크게 높이고 업무 온라인 주기를 단축할 수 있다.
개발 실험 단계에서 기업은 업무 목표에 맞추어 서로 다른 구조, 파라미터의 모델을 여러 차례 테스트하고, 나아가 최상의 모델 훈련 전략을 제정하여 후속 훈련의 성능과 효과를 보장해야 한다.4.0 새롭게 업그레이드된 관측 가능한 대형 디스크는 멀티코어 적합, 클러스터 효능, 임무 자동 내결함성 등 방면에 대해 전방위적인 모니터링을 진행할 수 있으며, 직관적인 의사결정 근거를 제공하여 사용자가 전체 프로젝트를 더욱 잘 통제할 수 있도록 돕는다.
현재 바이는 만 카드 클러스터에서 99.5% 이상의 효과적인 훈련 시간을 실현하여 업계 선두를 달리고 있으며 고객의 계산력과 시간 비용을 크게 절약하고 있다.또한 바이 4.0은 클러스터 설계, 임무 스케줄링, 병렬 전략, 그래픽 메모리 최적화 등 일련의 혁신을 통해 클러스터의 모델 훈련 효율을 대폭 향상시켰으며, 전체 성능은 업계 평균에 비해 30% 향상되었다.
또한 바이두 스마트 클라우드는 모델 호출, 모델 개발, 응용 개발에 대한 기업 고객의 수요를 만족시키기 위해 천범대 모델 플랫폼 3.0을 발표했다.모델 호출 방면에서 업그레이드된 천범 플랫폼은 문심 시리즈 대형 모델을 포함한 거의 100개의 국내외 대형 모델을 호출할 수 있을 뿐만 아니라 음성, 시각 등 각종 전통적인 소형 모델도 호출할 수 있다.모델 종류를 확대하는 동시에 바이두 스마트 클라우드는 모델 호출 비용을 지속적으로 낮춘다.
도구 플랫폼의 끊임없는 보완은 또한 지난 한 해 동안 대형 모델 산업 착지의 폭발적인 성장을 촉진했다.천범플랫폼에는 이미 제조, 에너지, 교통, 정무, 금융, 자동차, 교육, 인터넷을 포함한 8대 업종해결방안이 침전되여있다.