호랑이 리더보드와 한국어 LLM 평가에 대한 성찰 Reflections on the Horangi leaderboard and Korean LLM Evaluation

지난 1년간 한국어 LLM 평가 리더보드 중 가장 크고 널리 사용되는 호랑이 리더보드를 운영하면서 얻은 주요 교훈과, 최근 버전 업그레이드를 통해 얻은 통찰을 공유합니다.

이 발표는 11월 18일 Google Startup Campus에서 열린 ClickHouse + Dev Korea 서울 밋업에서 Weights & Biases의 AI 솔루션 엔지니어인 오현우가 현장에서 진행한 것입니다.

전체 아젠다는 다음 링크에서 확인할 수 있습니다: https://www.meetup.com/clickhouse-seoul-user-group/events/311633023/

We share key learning from operating the Horangi Leaderboard - the largest and most widely used Korean LLM evaluation leaderboard -- for the past year, as well as insights gained through our recent version upgrades.

This talk was delivered live at the ClickHouse + Dev Korea Seoul meetup on November 18 at Google Startup Campus by Hyunwoo Oh, AI Solution Engineer @ Weights & Biases.