짤방/유머

MATH 50% 달성에 드는 대략적인 상대적 추론 비용

양념좋아함2025-05-02목록으로 건너뛰기

<p><img class="-up-content -lazy-image" alt="" org-width="1200" org-height="960" src="/img/transparent.gif" data="https://ncache.ilbe.com/files/attach/new/20250502/377678/7513082343/11581858594/b252f4352768f62adcf221104c429028_11581858655.png"><br> </p><p>비록 이러한 수치가 훈련 효율성 향상과 직접적으로 연결될지는 미지수이지만(공개 데이터로는 추론이 어려움), 추론 효율성 측면에서 알고리즘 분야의 엄청난 발전 가능성과 진행 현황을 명확히 보여줍니다.</p><p> </p><p>​</p><p> </p><p>이 글에서는 알고리즘 발전을 두 유형으로 구분하겠습니다. 여기서는 먼저, "패러다임 내(within-paradigm) 개선“을 다루겠습니다. 이는 단순히 더 우수한 기본 모델을 만드는 것으로, 연산 효율성 향상이나 연산 증폭 효과(compute multiplirer)로 직결됩니다. 예를 들어, 개선된 알고리즘은 동일한 성능을 유지하면서도 훈련 시 필요한 계산량을 10분의 1로 줄일 수 있습니다. 이는 효과적인 계산력이 10배(1 OOM) 증가한 것과 동일하죠.</p><p> </p><p>​</p><p> </p><p>(후반부에는 "언호블링(unhobbling)"을 다룰 텐데, 이는 기본 모델의 잠재력을 해제하는 패러다임 확장/응용 분야 확장(paradigm-expanding/application-expanding)형 알고리즘 발전으로 이해하면 됩니다.)</p><p> </p><p>​</p><p> </p><p>장기적인 추세를 살펴보면, 알고리즘 개선은 꾸준한 속도로 발견되고 있습니다. 개별 기술 개발은 불규칙해 보이고 매번 극복 불가한 장벽처럼 느껴지지만, 장기 추세선은 예측 가능합니다. 그래프 상의 직선처럼 말이죠. 이 추세선을 믿어야 합니다.</p><p> </p><p>​</p><p> </p><p>이미지넷(ImageNet) 사례가 가장 잘 알려져 있는데요, 2012년부터 2021년까지 9년간 알고리즘 연구(대부분 공개됨)를 통해 계산 효율성이 연간 약 0.5 OOM(약 3배)씩 꾸준히 향상되었습니다.</p>

일베로0민주화

목록

첨부 [1]

• 1000003159.png49.0KBDownload