대규모 언어모델은 자연어처리, 번역, 각종 시험(SAT, AP Exams 등), 코딩 챌린지(LeetCode) 등의 다양한 분야에서 높은 성과를 보여주고 있어 수요가 폭발적으로 증가하고 있습니다. 대규모 언어모델의 폭넓은 활성화를 위해서는 대량의 GPU 자원을 활용하여 추론 시간을 줄이는 것이 매우 중요합니다. 하지만 GPU 자원들을 효율적으로 이용하여 대규모 언어모델을 빠르게 추론하는 방법에 대해서는 아직 널리 알려지지 않았습니다.
삼성전자 SAIT는 대규모 언어모델 기반 서비스의 확산을 위하여 Computer Engineering Challenge를 개최하게 되었습니다. 이번 Challenge의 목표는 대규모 언어모델을 4개의 GPU를 활용하여 높은 정확도를 유지하면서 추론 성능을 높이는 것입니다. 대회 운영은 1차, 2차 라운드로 진행될 예정입니다. Computer Engineering Challenge에 참여한 팀 중에서 1차 라운드를 통해 선정된 10개 팀은 2차 라운드에서 동일한 Computing Platform을 제공받아 팀에서 제시한 Idea를 구현하고, 제출한 성능 평가 결과를 기반으로 시상할 예정입니다.
이번 Computer Engineering Challenge를 통해 더 많은 학생이 대규모 언어모델을 가속하는 다양한 기술들에 흥미를 갖기를 희망합니다. 저희는 이러한 Computer Engineering 관심 증가가 앞으로 도래할 AI Computing 시대를 앞당기고 더불어 에너지와 비용을 절감하는 데 크게 기여할 것으로 기대합니다.
The Large-scale Language Models (LLM) can be used for Natural Language Processing(NLP), Translation, Various Tests (SAT, AP Exams, etc.), Coding Challenges (LeetCode), etc. Demand is exploding as it shows many achievements in various fields. For wide use of Large-scale Language Models, It is important to reduce inference time by utilizing a large amount of GPU resources. However, it is not yet widely known how to rapidly infer Large-scale Language Models by efficiently using GPU resources.
SAIT holds the Computer Engineering Challenge to spread Large-scale Language Model-based services. The goal of this challenge is to increase inference performance while maintaining high accuracy by utilizing four GPUs for a Large-scale Language Model. The operation of the competition will be conducted in the 1st and 2nd rounds. For a fair evaluation, we will present an inference performance evaluation method and dataset, and conduct qualitative/quantitative evaluation of the submitted results. Among the teams participating in the Computer Engineering Challenge, 10 teams selected through the first round will receive the same computing platform in the second round, implement the ideas suggested by the teams, and award based on the submitted performance evaluation results.
Through this Computer Engineering Challenge, we hope that more students will be interested in various technologies that accelerate Large-scale Language Models. We expect that this increased interest in Computer Engineering will advance the AI Computing era to come in the future and contribute greatly to reducing energy and costs.
공지사항
안녕하세요. llama 1 다운로드 관련하여 안내해 드립니다.
금번 챌린지 시작 직전에 llama 2가 공개되면서, llama 1에 대한 서비스 지원이 중단되었으며,
서비스 중단을 사전에 인지하지 못한 상황에서 챌린지가 시작되었습니다.
해당 사항으로 인해 참여자분들에게 혼란 및 불편하게 한 점에 대해 양해를 부탁드리겠습니다.
환경변화에 따른 챌린지 운영 방안을 검토한 결과, 모델을 확보하지 못한 경우에 OPT-30B을 활용하여
테스트 후 제출한 결과물도 신청받기로 하였습니다. 이에 모델 추가에 따른 충분한 테스트 시간을 부여해 드리기 위해
1차 최종 마감시한은 10월 3일(화) 23:59로 연장되며, 1차 선발자 발표는 10월 11일(수)로 연기될 예정입니다.
단, 2차 라운드 일정은 예정대로 진행될 예정이며, 변경 사항은 홈페이지에 반영되었으니 참고하시기를 바랍니다.
예상치 못한 상황으로 인해 챌린지 운영이 원활하지 않은 부분에 대해 널리 양해 부탁드리며,
CE Challenge에 많은 관심과 참여를 부탁드리겠습니다.
감사합니다.