애플은 AI 언어 모델 성능 업그레이드를 위해 엔비디아와 협력 합니다

애플은 새로운 텍스트 생성 기술을 구현하여 AI 애플리케이션의 속도와 성능을 크게 향상시킴으로써 대규모 언어 모델(LLM)의 성능을 업그레이드를 개선하기 위한 엔비디아 와의 협업에 대한 세부 정보를 공유했습니다 . 애플은 이미 올해 초에 Recurrent Drafter(ReDrafter)를 공개 하고 오픈 소스 화했습니다 .

이는 빔 검색과 동적 트리 어텐션 방법을 결합하여 텍스트 생성을 가속화하는 접근 방식입니다. 빔 검색은 더 나은 결과를 위해 여러 잠재적 텍스트 시퀀스를 한 번에 탐색하는 반면, 트리 어텐션은 이러한 시퀀스 간의 중복된 겹침을 정리하고 제거하여 효율성을 개선합니다.

애플은 이제 이 기술을 엔비디아의 TensorRT-LLM 프레임워크에 통합했습니다. 이 프레임워크는 NVIDIA GPU에서 실행되는 LLM을 최적화하여 Apple에 따르면 "최첨단 성능"을 달성했습니다.

이 통합을 통해 이 기술은 수십억 개의 매개변수가 포함된 프로덕션 모델로 테스트하는 동안 초당 생...

원문링크 : 애플은 AI 언어 모델 성능 업그레이드를 위해 엔비디아와 협력 합니다