Meta-Llama-3.1-70B-Instruct-int8
프렌들리AI
Llama-3.1 70B-Instruct를 INT8 양자화해 추론 효율을 높이면서 정확도는 유지, 경량 배포에 적합
- 분야
- 산업 전반·범용
- 모달리티
- Text
- 라이선스
- llama3.1
- 지원언어
- 영어, 다국어(8개 언어)
- 컨텍스트 길이
- 131072
- 정밀도
- BF16+FP32+I8
- 모델 아키텍처
- LlamaForCausalLM
- 모델 구축 방식
- 양자화 모델
- 베이스 모델
- meta-llama/Meta-Llama-3.1-70B
- 공개일
- 2024-09-09
- 최근 업데이트일
- 2024-09-09
- 규모(파라미터)
- 70.6B