티스토리

에코프로.AI

검색하기

블로그 홈

에코프로.AI

www.ecopro.ai/m

AI, ML, DL 관련정보를 알려주는 개인 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[HuggingFace] Fine-tuning - 3 (A full training) A full training 이제 트레이너 클래스를 사용하지 않고 지난 섹션에서 했던 것과 동일한 결과를 얻는 방법을 살펴보겠습니다. 다시 한 번, 섹션 2에서 데이터 처리를 완료했다고 가정합니다. 다음은 필요한 모든 사항을 간략하게 요약한 것입니다.from datasets import load_datasetfrom transformers import AutoTokenizer, DataCollatorWithPaddingraw_datasets = load_dataset("glue", "mrpc")checkpoint = "bert-base-uncased"tokenizer = AutoTokenizer.from_pretrained(checkpoint)def tokenize_function(example): .. 공감수 0 댓글수 0 2025. 1. 9.
[CUDA] 2. pytorch에서 GPU를 사용하는 방법 CUDA를 설치하지 않으셨으면 아래의 링크를 통해서 선행 설치해야 진행가능합니다.[CUDA] 1. 소개 및 설치 for windows(Feat. GTX 1650) Check GPUGPU 가용성 확인GPU에 액세스할 수 있는지 확인하는 가장 쉬운 방법은 torch.cuda.is_available()을 호출하는 것입니다. True를 반환하면 시스템에 torch버전에 맞는 CUDA가 올바르게 설치되어 있다는 뜻입니다.import torchtorch.cuda.is_available() 현재 선택한 디바이스의 인덱스를 가져옵니다. torch.cuda.current_device() 사용 가능한 GPU 수를 확인합니다.torch.cuda.device_count() 디바이스 이름을 가져옵니다.torch.cuda.get.. 공감수 1 댓글수 0 2025. 1. 8.
[HuggingFace] Fine-tuning - 1 (Processing the data) Processing the data (데이터 처리)이전 장의 예를 계속하면 PyTorch에서 하나의 배치에 대한 시퀀스 분류기를 훈련하는 방법은 다음과 같습니다.import torchfrom transformers import AdamW, AutoTokenizer, AutoModelForSequenceClassification# Same as beforecheckpoint = "bert-base-uncased"tokenizer = AutoTokenizer.from_pretrained(checkpoint)model = AutoModelForSequenceClassification.from_pretrained(checkpoint)sequences = [ "I've been waiting for a Hu.. 공감수 3 댓글수 1 2025. 1. 5.
[CUDA] 1. 소개 및 설치 for windows(Feat. GTX 1650) 용어정의CUDA, CUDA Toolkit, cuDNN은 NVIDIA에서 개발한 GPU 컴퓨팅 관련 기술들로, 각각 다음과 같은 특징을 가지고 있습니다 CUDA (Compute Unified Device Architecture)CUDA는 NVIDIA가 개발한 병렬 컴퓨팅 플랫폼 및 프로그래밍 모델입니다정의: GPU에서 수행하는 병렬 처리 알고리즘을 C, C++ 등의 프로그래밍 언어로 작성할 수 있게 해주는 기술입니다목적: GPU의 강력한 병렬 처리 능력을 일반적인 컴퓨팅 작업에 활용하기 위해 개발되었습니다특징: GPU의 가상 명령 집합과 병렬 연산 요소들에 직접 접근할 수 있는 소프트웨어 계층을 제공합니다 대량의 병렬 연산을 동시에 처리하는 것이 주요 목표입니다CUDA To.. 공감수 1 댓글수 0 2025. 1. 3.
[DeepLearning] 사전학습, 전이학습, RAG, 미세조정 사전학습, 전이학습, RAG, 미세조정은 모두 인공지능 모델, 특히 대규모 언어 모델(LLM)을 개발하고 최적화하는 데 사용되는 중요한 기술들입니다. 각각의 개념과 차이점을 설명해드리겠습니다.사전학습 (Pre-training)사전학습은 대규모의 일반적인 데이터셋을 사용해 모델을 학습시키는 프로세스입니다이 과정에서 모델은 언어의 기본 구조, 문법, 뉘앙스, 다양한 정보 등을 학습합니다. 사전학습은 방대한 양의 데이터와 컴퓨팅 리소스를 필요로 하며, 모델에게 광범위한 지식 기반을 제공합니다 전이학습 (Transfer Learning)전이학습은 한 태스크에 대해 훈련된 모델을 사용해 유사한 작업을 수행하는 모델의 기초로 활용하는 기법입니다이 방법을 통해 작은 데이터셋으로도 높은 성능을 얻을 수 있으며, 특정.. 공감수 0 댓글수 0 2025. 1. 3.
[Hugging Face - 7] Putting it all together (모든 것을 종합하기) 지난 몇 섹션에서는 대부분의 작업을 수작업으로 수행하는 방법으로 실습을 진행했습니다. tokenizers 의 작동 방식을 살펴보고 토큰화( tokenization ), input IDs 로의 변환, 패딩( padding ), 잘림( truncation )및 주의 마스크( attention masks )에 대해 살펴봤습니다. 그러나 섹션 2에서 살펴본 것처럼 🤗 트랜스포머 API는 이 모든 것을 높은 수준의 함수를 통해 처리할 수 있으며, 여기서 자세히 살펴볼 것입니다. 문장에서 토큰화 도구를 직접 호출하면 모델을 통과할 준비가 된 입력을 반환받습니다:from transformers import AutoTokenizercheckpoint = "distilbert-base-uncased-finetuned.. 공감수 2 댓글수 1 2025. 1. 3.
[Hugging Face - 6] Handling multiple sequences(여러 시퀀스 처리하기) 이전 섹션에서는 가장 간단한 사용 사례인 짧은 길이의 단일 시퀀스에 대해 추론을 수행하는 방법을 살펴보았습니다. 하지만 이미 몇 가지 의문이 생겼습니다:여러 개의 시퀀스를 어떻게 처리하나요?길이가 다른 여러 시퀀스를 어떻게 처리하나요 ?어휘 색인이 모델이 잘 작동하는 데 필요한 유일한 입력일까요?시퀀스가 너무 길다는 게 있을까?이러한 질문이 어떤 종류의 문제를 제기하는지 살펴보고, 🤗 Transformers API를 사용하여 이러한 문제를 어떻게 해결할 수 있는지 알아보겠습니다. 모델은 일괄 입력을 예상합니다.이전 연습에서 시퀀스가 숫자 목록으로 변환되는 방식을 살펴보았습니다. 이 숫자 목록을 텐서로 변환하여 모델로 보내 보겠습니다.import torchfrom transformers import .. 공감수 0 댓글수 0 2025. 1. 1.
[Hugging Face - 5] Tokenizers Tokenizers 는 NLP 파이프라인의 핵심 구성 요소 중 하나입니다. Tokenizers 는 텍스트를 모델에서 처리할 수 있는 데이터로 변환하는 한 가지 용도로 사용됩니다. 모델은 숫자만 처리할 수 있으므로 Tokenizers 는 텍스트 입력을 숫자 데이터로 변환해야 합니다. 이 섹션에서는 토큰화 파이프라인에서 정확히 어떤 일이 일어나는지 살펴보겠습니다. NLP 작업에서 일반적으로 처리되는 데이터는 원시 텍스트입니다. 다음은 이러한 텍스트의 예입니다:Jim Henson was a puppeteer 하지만 모델은 숫자만 처리할 수 있으므로 원시 텍스트를 숫자로 변환하는 방법을 찾아야 합니다. 이것이 바로 토큰화 도구가 하는 일이며, 이를 수행하는 방법에는 여러 가지가 있습니다. 목표는 가장 의미 있는.. 공감수 3 댓글수 2 2025. 1. 1.
[Hugging Face - 4] models 이 섹션에서는 모델을 만들고 사용하는 방법을 자세히 살펴보겠습니다. 체크포인트에서 모델을 인스턴스화할 때 유용한 AutoModel 클래스를 사용하겠습니다. AutoModel 클래스와 그 모든 관계된 클래스는 사실 라이브러리에서 사용할 수 있는 다양한 모델에 대한 간단한 래퍼입니다. 체크포인트에 적합한 모델 아키텍처를 자동으로 추측한 다음 이 아키텍처로 모델을 인스턴스화할 수 있으므로 영리한 래퍼입니다.그러나 사용하려는 모델 유형을 알고 있다면 해당 아키텍처를 정의하는 클래스를 직접 사용할 수 있습니다. BERT 모델에서 이것이 어떻게 작동하는지 살펴보겠습니다.구현환경IDE : vscodeLanguage : Python가상환경 생성라이브러리 설치 (torch 를 사용하는, transformers 라이브러리.. 공감수 0 댓글수 0 2024. 12. 27.
[Hugging Face - 3] pipeline() 함수 - 내부 처리로직 HuggingFace의 pipeline() 함수를 실행 시, 내부적으로 어떤 절차로 처리가 되는지 확인 합니다. 전체 예제부터 시작하여 다음 코드를 실행했을 때 백그라운드에서 어떤 일이 발생했는지 살펴보겠습니다.from transformers import pipelineclassifier = pipeline("sentiment-analysis")classifier( [ "I've been waiting for a HuggingFace course my whole life.", "I hate this so much!", ])처리결과[{'label': 'POSITIVE', 'score': 0.9598047137260437}, {'label': 'NEGATIVE', 'sco.. 공감수 3 댓글수 2 2024. 12. 27.
[Hugging Face - 2] Transformer? 트랜스포머 역사에 대한 간단한 소개 Transformer 아키텍처는 2017년 6월에 도입되었습니다. 원래 연구의 초점은 번역 작업에 맞춰져 있었습니다. 그 후 다음을 포함한 여러 영향력 있는 모델이 도입되었습니다.2018년 6월 : 다양한 NLP 작업에 대한 미세 조정에 사용된 최초의 사전 학습된 Transformer 모델인 GPT를 통해 최고의 결과를 얻었습니다.2018년 10월 : 또 다른 대규모 사전 학습된 모델인 BERT는 문장을 더 잘 요약하도록 설계되었습니다2019년 2월 : 윤리적 문제로 인해 즉시 대중에 공개되지 않은 GPT의 개선된(그리고 더 큰) 버전인 GPT-22019년 10월 : DistilBERT 는 BERT의 증류 버전으로 60% 더 빠르고 메모리는 40% 더 가벼우며 BER.. 공감수 2 댓글수 1 2024. 12. 24.
[Hugging Face - 1] Hugging Face 소개 및 기본사용(Feat. pipeline) 1. Hugging Face란 무엇인가?Hugging Face는 자연어 처리(NLP)와 머신러닝(ML) 모델의 개발 및 배포를 돕는 오픈소스 중심의 AI 플랫폼입니다. 특히 Transformers 라이브러리를 통해 딥러닝 기반의 NLP 모델(예: BERT, GPT, T5 등)을 손쉽게 사용할 수 있도록 지원합니다. 최근에는 컴퓨터 비전(CV)과 멀티모달 모델로도 확장되고 있으며, 모델 허브, 데이터셋, 교육 자료를 제공해 AI 개발자와 연구자에게 필수적인 도구로 자리 잡고 있습니다. 2. 인공지능 개발에 유용한 이유오픈소스 접근성 : 최신 AI 모델을 무료로 활용하고 수정할 수 있는 강력한 오픈소스 라이브러리를 제공합니다.사전 훈련된 모델 : 수천 개의 사전 훈련된 모델을 통해 개발자가 시간과 비용을 절.. 공감수 0 댓글수 0 2024. 12. 23.
[Streamlit] PostgreSQL 연동 1. 아래의 링크를 확인하여, PostgreSQL 과 dbeaver 를 설치 해 줍니다.https://www.ecopro.ai/entry/PostgreSQL-%EC%84%A4%EC%B9%98-%EB%B0%8F-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%A0%80%EC%9E%A5-Feat-Python PostgreSQL 설치 및 데이터 저장 (Feat. Python)PostgreSQL & DBeaver 설치PostgreSQL 다운로드 및 설치PostgreSQL 사이트https://www.postgresql.org/download/windows/PostgreSQL 다운로드 사이트https://www.enterprisedb.com/downloads/postgres-postgresql-downlo.. 공감수 0 댓글수 0 2024. 12. 23.
[Python 모델 서빙] DJango - 써보기(Visual Studio Code에서 Django 튜토리얼-1) Django는 빠르고 안전하며 확장 가능한 웹 개발을 위해 설계된 고급 Python 프레임워크입니다. Django에는 URL 라우팅, 페이지 템플릿 및 데이터 작업에 대한 풍부한 지원이 포함되어 있습니다.이 Django 튜토리얼에서는 공통 기본 템플릿을 사용하는 세 페이지로 구성된 간단한 Django 앱을 만듭니다. 필수조건이 Flask 튜토리얼을 성공적으로 완료하려면 다음을 수행해야 합니다( 일반 Python 튜토리얼 과 동일한 단계 ).Python 확장 프로그램을 설치합니다 .Python 3 버전을 설치하세요(이 튜토리얼은 이 버전을 위해 작성되었습니다). 옵션은 다음과 같습니다.(모든 운영 체제) python.org 에서 다운로드하세요 . 일반적으로 페이지에 먼저 나타나는 다운로드 버튼을 사용하세요.. 공감수 0 댓글수 0 2024. 12. 19.
[Python 모델 서빙] Flask - 써보기(Visual Studio Code의 Flask 튜토리얼 - 1) Visual Studio Code의 Flask 튜토리얼 Flask는 웹 애플리케이션을 위한 가벼운 Python 프레임워크로, URL 라우팅과 페이지 렌더링을 위한 기본 기능을 제공합니다.Flask는 폼 검증, 데이터베이스 추상화, 인증 등의 기능을 직접 제공하지 않기 때문에 "마이크로" 프레임워크라고 불립니다. 이러한 기능은 대신 Flask 확장 프로그램이라는 특수 Python 패키지에서 제공합니다. 이 확장 프로그램은 Flask와 완벽하게 통합되어 마치 Flask 자체의 일부인 것처럼 보입니다. 예를 들어, Flask는 페이지 템플릿 엔진을 제공하지 않지만 Flask를 설치하면 기본적으로 Jinja 템플릿 엔진이 포함됩니다. 편의상 일반적으로 이러한 기본값을 Flask의 일부라고 합니다.이 Flask .. 공감수 0 댓글수 0 2024. 12. 16.
[Python 모델 서빙] FastApi - 써보기(기본) FastAPI 설치vscode 의 터미널에서 아래의 명령어를 실행하여, FastAPI 를 설치해 줍니다.pip install "fastapi[standard]" FastAPI 기본 실행 해보기main.py 파일을 생성 후, 아래와 같이 작성해 줍니다.# FastAPI 패키지 가져오기from fastapi import FastAPI# 인스턴스 생성app = FastAPI()# "/" 경로 설정# GET: 데이터를 읽습니다.@app.get("/")# "/" 경로에 호출 함수async def root(): return {"message" : "Hello World"} vscode의 터미널에 아래의 명령을 실행하여, 웹서버를 구동해 줍니다.fastapi dev main.py 브라우저에서 아래의 URL접속h.. 공감수 0 댓글수 1 2024. 12. 15.
Visual Studio Code 파이썬(Python) 가상개발환경(venv) 설정 0. 가상환경을 설정하는 주요 이유프로젝트 독립성 유지각 프로젝트마다 독립적인 환경을 구성할 수 있어, 서로 다른 프로젝트 간의 패키지 버전 충돌을 방지할 수 있습니다의존성 관리 용이프로젝트별로 필요한 패키지와 버전을 정확하게 관리할 수 있어, 패키지 관리가 훨씬 수월해집니다시스템 환경 보호가상환경을 사용하면 시스템 전체 Python 환경에 영향을 주지 않고 패키지를 설치할 수 있어, 시스템의 안정성을 유지할 수 있습니다재현성 보장가상환경을 통해 프로젝트에 필요한 정확한 패키지 버전을 지정할 수 있어, 다른 환경에서도 동일한 결과를 재현할 수 있습니다협업 용이성팀원들과 동일한 환경에서 작업할 수 있도록 환경 설정을 공유할 수 있어, 협업이 더욱 원활해집니다테스트 환경 구축 용이다양한 Python 버전이나.. 공감수 2 댓글수 0 2024. 12. 13.
[Python] 문제해결 : ipynb 주피터노트북 파일의 용량 줄이기 문제 확인 및 해결방법작업 한, 프로젝트의 소스를 백업하여, 정리하려고 하는데,아래와 같이 .ipynb파일의 용량이 아래와 같이 용량이 30mb와 같이 크게 잡혀있어서,백업 시, 용량을 많이 차지하여, 확인해보니.데이터를 출력한 내용이 파일 용량으로 잡혀있어서 출력을 삭제해야 용량이 줄어드는 것으로 확인 함. Colab에서 각각 파일열어서 처리1. Colab에서 파일을 열어줍니다.2. [수정] - [모든 출력 지우기] 선택3. [파일] - [저장] 하면 용량이 줄어든 것을 확인할 수 있습니다.Python 코드 각각 파일불러서 처리 1. 필요한 모듈(패키지, 함수 등) 및 자료 불러오기from nbformat import read, write 2. 출력삭제 함수 선언def strip_output(nb): .. 공감수 0 댓글수 1 2024. 12. 11.
[python WebApp framework] streamlit - 써보기(기본) Streamlit은 데이터 과학자와 개발자들이 데이터 애플리케이션을 빠르고 쉽게 만들 수 있도록 도와주는 Python 기반의 오픈소스 프레임워크입니다. 소개 및 특징주요 특징간편한 개발: Python 코드만으로 웹 애플리케이션을 만들 수 있어, HTML, CSS, JavaScript 지식이 없어도 됩니다.데이터 시각화 최적화: 데이터프레임, 차트, 그래프 등을 손쉽게 시각화할 수 있습니다5.인터랙티브 요소: 슬라이더, 드롭다운, 체크박스 등 다양한 위젯을 제공하여 사용자 상호작용이 가능한 앱을 만들 수 있습니다.실시간 업데이트: 코드 변경 사항을 자동으로 감지하여 애플리케이션을 실시간으로 업데이트합니다.사용 사례Streamlit은 주로 다음과 같은 용도로 사용됩니다.데이터 시각화 대시보드 제작머신러닝 모.. 공감수 0 댓글수 0 2024. 12. 10.
[python WebApp framework] gradio - 써보기(기본) Gradio는 머신러닝 및 데이터 과학 애플리케이션을 위한 오픈소스 Python 라이브러리입니다. 주요 특징과 장점은 다음과 같습니다주요 특징사용자 친화적인 인터페이스: 복잡한 웹 개발 지식 없이도 간단한 코드로 대화형 웹 인터페이스를 만들 수 있습니다.다양한 입출력 컴포넌트: 텍스트, 이미지, 오디오, 비디오 등 다양한 유형의 데이터를 처리할 수 있는 컴포넌트를 제공합니다.빠른 프로토타이핑: 몇 줄의 코드만으로 인터랙티브한 데모를 만들 수 있어 아이디어를 빠르게 테스트하고 공유할 수 있습니다.쉬운 배포: Gradio Cloud를 통해 간편하게 애플리케이션을 배포하고 공유할 수 있습니다.장점모델 검증 용이: 다양한 입력으로 모델의 결과를 실시간으로 테스트할 수 있습니다.데모 제작에 최적화: 머신러닝 모델.. 공감수 1 댓글수 1 2024. 12. 10.
[QGIS] 투영 & 좌표계 투영3차원의 지구를 2차원 평면으로 표현하기 위한 기법투영에 따른 왜곡 수반 : (x, y, z) => (x, y)모양 (shape)방향 (direction)길이 (length)면적 (area)좌표체계 변환좌표변환 : 다른 투영 / 좌표체계로 바꾸기대한민국 국가기본도 좌표체계 : 중부원점 TM 좌표체계 (EPSG:5186)우리나라의 전국 지도데이터에서 70% 정도가 중부원점 데이터 임. (경도:27, 위도:38)5174, 5181 : 예전에 만든 데이터5179 : 전국지도, 네이버지도※ QGIS 의 좌표체계를 모르는 경우 : 5186 -> 5181 -> 5174 -> 5179 순으로 확인 QGIS에서 레이어 불러온 후, 아래와 같이 좌표체계를 변경할 수 있습니다. 끝~ 공감수 0 댓글수 0 2024. 12. 9.
[QGIS] 공간시각화 & 공간분석 0. 공간시각화 vs 공간분석기준공간시각화공간분석목적- 데이터 직관적 이해와 시각적 표현- 데이터의 관계, 패턴, 경향 분석활용- 데이터 프레젠테이션, 의사소통, 시각적 탐색- 문제 해결, 정책 수립, 의사결정 지원결과물- 시각적으로 표현된 지도, 그래프, 히트맵- 분석 결과, 통계적 모델, 패턴 및 상관관계에 대한 인사이트재정데이터 활용- 예산 분포 지도- 세수 히트맵- 공공 서비스 접근성 지도- 예산 배분의 효율성 분석- 세수와 경제활동의 관계 분석- 공공 서비스 접근성과 재정지출의 관계 분석 1. 공간시각화0) 지도 란?지도란 실세계의 모습을 단순하게 표현해 놓은 것 (종이, 컴퓨터 화면)지도에는 공간데이터(객체)가 배치되어 있음 (예) 종로구 지도안에 교보빌딩(공간객체)1) 지도의 유형평면지도 .. 공감수 1 댓글수 1 2024. 12. 9.
[QGIS] QGIS 지원 파일 포맷 QGIS 지원 파일 포맷벡터(Vector) 포맷자료형식특징사용권 관련Shapefile단순 피처를 저장하는 대표적인 모델공개된 형식DXFDrawing eXchange FormatCAD 형식의 교환 파일공개된 형식ArcGIS File Geodatabase파일 기반에서 고급 데이터 모델 구현Esri (API를 통해서 접근)GMLGeographic Markup LanguageXML 형식의 교환 파일OGC 제안, 공개된 형식GeoJSONJSON의 공간 데이터 확장오픈소스 진영에서 사용KMLKeyhole Markup LanguageXML 형식의 시각화 표현 파일 (3D 지원)OGC 제안, 공개된 형식SDFSpatial Data FileMapGuide 등에서 사용하는단일 사용자용 공간 데이터 파일Autodesk(데이.. 공감수 4 댓글수 3 2024. 12. 8.
[QGIS] QGIS 개요 및 설치 QGIS 개요무료, 오픈소스 GIS 소프트웨어(QGIS 데스크탑이 대표적인 애플리케이션)공간정보(GIS) 데이터 시각화, 편집, 분석사용 운영체제 : 윈도우, Mac OS X, 리눅스, BSD, 안드로이드C++, Python, Qt로 개발다양한 플러그인에 의해 기능 확장타 오픈소스 GIS인 PostGIS, GRASS, MapServer 등과 통합 용이라이선스 : GNU GPL (무료, 자유롭게 수정 가능) QGIS 설치QGIS 홈페이지 [지금 다운로드] 클릭http://qgis.org/ko/site/forusers/download.html Download · QGIS Web Site qgis.org하단의 "Skip it and go to download" 버튼 선택"Long Term Version for.. 공감수 4 댓글수 2 2024. 12. 8.
[재정데이터] 미니프로젝트 주제선정관련 주제 1: 재정 지출의 효율성 분석주제 설명:정부의 각 부문별 재정 지출이 실제로 의도한 효과를 달성하고 있는지 분석합니다. 특히 교육, 보건, 사회복지 등의 분야에서 지출 대비 성과를 평가합니다.데이터 참고 사이트:열린재정: https://www.openfiscaldata.go.kr/공공데이터포털: https://www.data.go.kr/구현 방법:Python의 pandas 라이브러리를 사용하여 재정 지출 데이터와 관련 성과 지표 데이터를 수집 및 전처리합니다.시계열 분석을 통해 지출 증가에 따른 성과 지표의 변화를 분석합니다.머신러닝 기법(예: 회귀 분석)을 활용하여 지출과 성과 간의 관계를 모델링합니다.matplotlib 또는 Plotly를 사용하여 결과를 시각화합니다.주제 2: 지방 재정 건전성.. 공감수 6 댓글수 4 2024. 11. 26.
[python] Python 메모리 최적화 기법: 효율적인 코드를 위한 11가지 팁 Python 프로그램의 메모리 사용을 최적화하는 방법에 대해 알아보겠습니다. 특히 Pandas DataFrame을 사용할 때 메모리를 효율적으로 관리하는 방법도 포함하여 설명하겠습니다. 1. 제너레이터 사용하기제너레이터는 필요할 때만 데이터를 생성하므로 메모리를 크게 절약할 수 있습니다.# 리스트 사용 (메모리 비효율적)numbers_list = [i for i in range(1000000)]# 제너레이터 사용 (메모리 효율적)numbers_generator = (i for i in range(1000000)) 2. 불필요한 객체 삭제하기del 키워드를 사용하여 더 이상 필요하지 않은 객체를 삭제할 수 있습니다.a = [1, 2, 3, 4, 5, ..., 100000000]# 객체 사용 후del a 3.. 공감수 0 댓글수 0 2024. 11. 14.
[GitHub] Colab에서 GoogleDrive의 파일 GitHub연동 Colab에서 GoogleDrive의 파일을 GitHub에 연동하는 방법을 소개합니다.이 방법을 사용하면, colab을 사용하여, 다른 환경에서 별도의 설정없이 colab으로 작업이 가능하며,작업한 colab의 코드를 github로 연동 가능합니다. 1. 준비작업 ■ github - token 생성1. github에 접속2. 우측의 프로필 이미지 를 클릭한다.3. "Settings"를 선택4. 좌측메뉴의 하단에 "Developer settings" 를 선택5. 좌측메뉴의 "Personal access tokens"의 "Tokens (classic)" 를 선택6. 우측의 "Generate new token"을 선택 후. "Generate new token (classic)" 을 선택- "Note"에 적당.. 공감수 0 댓글수 0 2024. 11. 7.
[Python] Pandas - DataFrame 합치기 (Feat. concat(), merge(), join()) Python에서 DataFrame을 합치는 방법에는 크게 세 가지가 있습니다.concat(), merge(), 그리고 join(). 각각의 함수는 다른 상황에서 유용하게 사용됩니다. 아래에 각 방법에 대한 설명과 예시 코드를 제공합니다. 1. concat(): DataFrame을 단순히 연결 (위아래 또는 좌우로)concat() 함수는 여러 DataFrame을 세로(행) 또는 가로(열) 방향으로 연결할 때 사용됩니다.예시:import pandas as pd# 두 개의 DataFrame 생성df1 = pd.DataFrame({ 'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3']})df2 = pd.DataFrame({ 'A': ['A4.. 공감수 4 댓글수 3 2024. 11. 5.
[Python] Pandas - DataFrame의 컬럼명 변경 기본적인 컬럼 변경 방법# df의 컬럼 : col1, col2, col3# 방법1df.rename(columns = {'col2':'변경할컬럼명'}, inplace = True) # 방법2df.columns = ['col1', '변경할컬럼명', 'col3']컬럼명 전체를 대/소문자로 변경# 방법df.columns = [x.upper() for x in df.columns] # 전체 대문자로 바꿀 때df.columns = [x.lower() for x in df.columns] # 전체 소문자로 바꿀 때특정 혹은 전체 컬럼의 동일한 문자를 추가해야 하는 경우# 특정 컬럼들을 추출해서 변경을 해야하는 경우topic_dict = {x: x + '변경 문구' for x in df.columns if 특정 x를 .. 공감수 0 댓글수 0 2024. 10. 23.
[JupyterNotebook] 유용한 단축키 모음 [주피터 노트북] 유용한 단축키 모음단축키설명a위에 셀 추가하기b아래에 셀 추가하기dd (2번)해당 셀 삭제하기c해당 셀 복사하기x해당 셀 잘라내기v선택 셀 아래에 붙여넣기shift + m(MacOS: ⬆️ + m)선택 셀과 아래에 있는 셀 합치기 (병합)o코드 실행 결과 펼치기/접기y해당 셀을 코드 입력 모드로 변경m해당 셀을 markdown 입력 모드로 변경ctrl(cmd) + s주피터 노트북 파일 저장ESC명령 입력 모드로 전환 [참고사이트] https://heytech.tistory.com/27 끝~ 공감수 0 댓글수 0 2024. 10. 18.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.