LLM용 클라우드 GPU 선택 방법.

1. 워크로드 모드로 시작

추론은 가중치와 런타임 상태를 저장합니다. 훈련은 그래디언트, 옵티마이저 상태 및 활성화를 추가합니다. 파라미터 효율적 튜닝은 그 사이에 있습니다. 하드웨어를 비교하기 전에 모델 개정, 정밀도, 컨텍스트 또는 시퀀스 길이, 배치 및 동시성을 기록하세요.

2. 메모리 예산 수립

대략적인 가중치 추정은 매개변수에 매개변수당 바이트를 곱한 것이지만 커널, 양자화 메타데이터, KV 캐시, 활성화 및 단편화는 오버헤드를 추가합니다. 계산기를 후보 목록으로 취급하고 피크 할당을 검증하세요.

• 시작 가정으로 운영 여유 10~20% 추가
• 십진 GB와 이진 GiB를 조용히 혼합하지 마십시오.
• 컨텍스트, 배치 또는 런타임을 변경한 후 재테스트

3. 사양이 아닌 결과 비교

추론의 경우 지연 시간과 허용 백만 토큰당 달러를 비교하십시오. 훈련의 경우 허용 체크포인트당 시간과 달러를 비교하십시오. 시각적 작업의 경우 허용 이미지, 클립 또는 프레임당 비용을 비교하십시오.