목록2024/12/24 (1)

에코프로.AI

[Hugging Face - 2] Transformer?

트랜스포머 역사에 대한 간단한 소개  Transformer 아키텍처는 2017년 6월에 도입되었습니다. 원래 연구의 초점은 번역 작업에 맞춰져 있었습니다. 그 후 다음을 포함한 여러 영향력 있는 모델이 도입되었습니다.2018년 6월 : 다양한 NLP 작업에 대한 미세 조정에 사용된 최초의 사전 학습된 Transformer 모델인 GPT를 통해 최고의 결과를 얻었습니다.2018년 10월 : 또 다른 대규모 사전 학습된 모델인 BERT는 문장을 더 잘 요약하도록 설계되었습니다2019년 2월 : 윤리적 문제로 인해 즉시 대중에 공개되지 않은 GPT의 개선된(그리고 더 큰) 버전인 GPT-22019년 10월 : DistilBERT 는 BERT의 증류 버전으로 60% 더 빠르고 메모리는 40% 더 가벼우며 BER..
AI Tutorial 2024. 12. 24. 17:03
이전 Prev 1 Next 다음