본문 바로가기

AX 자원 찾기

Llama-2-7b-chat-hf-fp8

프렌들리AI

Llama-2 7B-Chat을 FP8 양자화해 추론 효율을 높이면서 정확도는 유지, 경량 배포에 적합

분야
산업 전반·범용
모달리티
Text
라이선스
llama2
지원언어
영어
컨텍스트 길이
4096
정밀도
FP16+I8
모델 아키텍처
LlamaForCausalLM
모델 구축 방식
양자화 모델
베이스 모델
meta-llama/Llama-2-7b-chat-hf
공개일
2024-03-28
최근 업데이트일
2024-04-19
규모(파라미터)
6.7B