본문 바로가기

AX 자원 찾기

Mistral-7B-Instruct-v0.2-fp8

프렌들리AI

Mistral 7B-Instruct(v0.2)를 FP8 양자화해 추론 효율을 높이면서 정확도를 유지, 경량 배포에 적합

분야
산업 전반·범용
모달리티
Text
라이선스
Apache-2.0
지원언어
영어
컨텍스트 길이
32768
정밀도
FP16+I8
모델 아키텍처
MistralForCausalLM
모델 구축 방식
양자화 모델
베이스 모델
mistralai/Mistral-7B-Instruct-v0.2
공개일
2024-03-28
최근 업데이트일
2024-04-18
규모(파라미터)
7.2B