mistral-orpo-beta
카이스트
정제된 UltraFeedback 61k 데이터로 ORPO 학습, SFT 웜업 없이 직접 선호도 정렬해 대화형 어시스턴트에 적합
- 분야
- 산업 전반·범용
- 모달리티
- Text
- 라이선스
- MIT
- 지원언어
- 영어
- 정밀도
- BF16
- 모델 아키텍처
- MistralForCausalLM
- 모델 구축 방식
- 파인튜닝 모델
- 베이스 모델
- mistralai/Mistral-7B-v0.1
- 공개일
- 2024-03-12
- 최근 업데이트일
- 2024-03-17
- 규모(파라미터)
- 7.2B