대규모 언어 모델의 대중화는 메모리 대역폭과 같은 시스템적인 한계를 점점 더 분명하게 드러내고 있습니다. 최근에는 단일 모델이 아닌, 여러 AI 모델들이 기존 소프트웨어와 동적으로 결합되는 ‘Compound AI’ 시스템이 등장하면서, 이를 실행하는 컴퓨팅 시스템의 복잡도 또한 빠르게 심화되고 있습니다.
삼성전자 SAIT는 이러한 Compound AI 시스템과 이를 실제 제품에 구현하기 위한 새로운 하드웨어 및 소프트웨어의 도전을 주목하였습니다. 이에 따라 올해 Computer Engineering(CE) Challenge는 “Return to Basic“을 슬로건으로, CPU 구조와 컴파일러 최적화를 통해 기술의 기본에 충실하면서도 실질적인 성능 개선을 이루는 데 중점을 두고자 합니다. 이를 위해 Open HW인 RISC-V CPU와 Open SW인 LLVM 컴파일러를 개선하여 AI 모델 연산의 기본이 되는 다양한 응용 성능을 최적화하는 과제를 준비하였습니다.
이번 Computer Engineering(CE) Challenge의 주요 목표는 RISC-V 아키텍처의 branch prediction 메커니즘을 분석하고 개선하고 LLVM 컴파일러의 vectorization 기능을 강화하는 것입니다. 이를 통해 Loop 기반 응용의 성능을 개선하여 AI 모델의 HW 효율을 높이는 것을 목표로 합니다. 또한, HW와 SW Co-optimization을 함으로써 단위 요소 기술이 아닌 시스템 관점에서 응용 성능을 개선하는 경험을 가질 수 있을 것으로 기대하고 있습니다.
또한, Computer Engineering(CE) Challenge는 하드웨어와 소프트웨어에 대한 심층적인 이해를 바탕으로 혁신적인 성과를 창출해 낼 수 있는 기회가 될 것입니다. 참가자 여러분께서 이번 Challenge를 통해서 CPU 구조와 컴파일러에 대한 이해를 높이고, 실제 문제 해결 역량을 한층 더 키워나가시길 기대합니다. CPU 구조와 컴파일러 분야에 관심을 가지고 연구하고 있는 여러분들의 많은 참여를 부탁드립니다.
The popularization of large-scale language models is increasingly revealing systemic limitations such as memory bandwidth. Recently, with the emergence of “Compound AI” systems, in which multiple AI models are dynamically combined with existing software rather than a single model, the complexity of the computing systems that run them is also rapidly increasing.
SAIT focuses on the challenges of developing new hardware and software to implement these Compound AI systems in real-world products. Accordingly, Computer Engineering (CE) Challenge will focus on achieving practical performance improvements while remaining faithful to the fundamentals of technology through CPU architecture and compiler optimization, under the slogan “Return to Basic.” To this end, we prepare a task to optimize various application performances that form the basis of AI model computations by improving the open hardware RISC-V CPU and the open software LLVM compiler.
The main objectives of Computer Engineering (CE) Challenge are to analyze and improve the branch prediction mechanism of the RISC-V architecture and to strengthen the vectorization capabilities of the LLVM compiler. The goal is to improve the performance of loop-based applications and enhance the hardware efficiency of AI models. Additionally, we anticipate that participants will gain experience in improving application performance from a system-level perspective rather than focusing on individual technological components through hardware and software co-optimization.
Furthermore, Computer Engineering (CE) Challenge will provide an opportunity to achieve innovative results based on a deep understanding of hardware and software. We hope that participants will use this Challenge to enhance their understanding of CPU architecture and compilers, and further develop their problem-solving capabilities. We encourage those interested in researching CPU architecture and compilers to participate actively.