에코프로.AI

용어정의CUDA, CUDA Toolkit, cuDNN은 NVIDIA에서 개발한 GPU 컴퓨팅 관련 기술들로, 각각 다음과 같은 특징을 가지고 있습니다 CUDA (Compute Unified Device Architecture)CUDA는 NVIDIA가 개발한 병렬 컴퓨팅 플랫폼 및 프로그래밍 모델입니다정의: GPU에서 수행하는 병렬 처리 알고리즘을 C, C++ 등의 프로그래밍 언어로 작성할 수 있게 해주는 기술입니다목적: GPU의 강력한 병렬 처리 능력을 일반적인 컴퓨팅 작업에 활용하기 위해 개발되었습니다특징: GPU의 가상 명령 집합과 병렬 연산 요소들에 직접 접근할 수 있는 소프트웨어 계층을 제공합니다                   대량의 병렬 연산을 동시에 처리하는 것이 주요 목표입니다CUDA To..

사전학습, 전이학습, RAG, 미세조정은 모두 인공지능 모델, 특히 대규모 언어 모델(LLM)을 개발하고 최적화하는 데 사용되는 중요한 기술들입니다. 각각의 개념과 차이점을 설명해드리겠습니다.사전학습 (Pre-training)사전학습은 대규모의 일반적인 데이터셋을 사용해 모델을 학습시키는 프로세스입니다이 과정에서 모델은 언어의 기본 구조, 문법, 뉘앙스, 다양한 정보 등을 학습합니다. 사전학습은 방대한 양의 데이터와 컴퓨팅 리소스를 필요로 하며, 모델에게 광범위한 지식 기반을 제공합니다  전이학습 (Transfer Learning)전이학습은 한 태스크에 대해 훈련된 모델을 사용해 유사한 작업을 수행하는 모델의 기초로 활용하는 기법입니다이 방법을 통해 작은 데이터셋으로도 높은 성능을 얻을 수 있으며, 특정..

지난 몇 섹션에서는 대부분의 작업을 수작업으로 수행하는 방법으로 실습을 진행했습니다.  tokenizers 의 작동 방식을 살펴보고 토큰화( tokenization ), input IDs 로의 변환, 패딩( padding ), 잘림( truncation )및 주의 마스크( attention masks )에 대해 살펴봤습니다. 그러나 섹션 2에서 살펴본 것처럼 🤗 트랜스포머 API는 이 모든 것을 높은 수준의 함수를 통해 처리할 수 있으며, 여기서 자세히 살펴볼 것입니다. 문장에서 토큰화 도구를 직접 호출하면 모델을 통과할 준비가 된 입력을 반환받습니다:from transformers import AutoTokenizercheckpoint = "distilbert-base-uncased-finetuned..