대규모 언어모델은 Scaling Law를 기반으로 지속적으로 그 규모가 증가하고 있으나, 메모리 용량과 메모리 대역폭 등의 시스템 제약에 의해 추론 성능의 개선은 한계에 부딪치고 있습니다. 특히 온 디바이스 활용에서는 부족한 메인 메모리 용량을 보완하기 위한 다양한 방법(ex. 멀티 티어 메모리)이 사용 되지만 이에 대한 추론 성능의 최적화 방식은 아직 확립되지 않았습니다.
삼성전자 SAIT는 온 디바이스 언어모델 이용을 활성화 하기 위하여 Computer Engineering(CE) Challenge를 개최하게 되었습니다. 이번 Computer Engineering Challenge의 목표는 대규모 언어 모델의 정확도를 유지한 채로 제한된 메모리 및 컴퓨팅 리소스를 사용하여 추론 속도를 최대화하는 것 입니다. Computer Engineering Challenge에 참여한 각 팀은 주어진 동일한 디바이스 환경에서 추론 속도를 최대화하는 방법론을 제안 및 구현하고, 그 성능 평가 결과를 기반으로 시상할 예정입니다.
이번 Computer Engineering Challenge는 대규모 언어모델을 위한 시스템 최적화 방법론에 대한 학생들의 관심을 높이기 위해 개최되었습니다. 저희는 더 많은 학생들이 Computer Engineering 분야에 관심을 가지고 연구하길 희망하며, 이를 통해 AI Computing 시대를 앞당기고 에너지와 비용을 절감하는 데 큰 역할을 할 것으로 기대합니다.
The Large-scale language models are continuously increasing in size based on the Scaling Law. However, improvements in inference performance are limited due to system constraints such as memory capacity and memory bandwidth. In particular, various methods (e.g. multi-tier memory) are used to compensate for insufficient main memory capacity in on-device utilization, but the optimization method for inference performance has not been established yet.
Samsung SAIT is holding the Computer Engineering(CE) Challenge to promote the use of on-device language models. The goal of this Computer Engineering Challenge is to maximize the inference speed while maintaining the accuracy of large-scale language models using limited memory and computing resources. Each team participating in the Computer Engineering Challenge will propose and implement methodologies to maximize the inference speed in the given device environment. Awards will be based on the evaluation of their performance.
Through this Computer Engineering Challenge, we hope that more students will become interested in system optimization methodologies for large-scale language models. We expect that this increased interest in Computer Engineering will advance the AI Computing era to come in the future and contribute greatly to reducing energy and costs.