에코프로.AI

전이학습 이란?전이학습은 한 작업에 대해 훈련된 모델을 사용해 유사한 작업을 수행하는 모델의 기초로 활용하는 딥러닝 접근법입니다. 전이학습을 통해 신경망을 업데이트하고 재훈련시키는 것이 처음부터 신경망을 훈련시키는 것보다 빠르며 쉽습니다.전이학습은 영상분류, 객체검출, 음성인식 및 기타응용사례에서 사용됩니다.이미 대규모 데이터셋으로 훈련된 널리 쓰이는 모델을 재사용함으로써 더 적은 레이블 지정 데이터로 모델을 훈련시킬 수 있습니다.이를 통해 훈련 시간과 연산 리소스를 줄일 수 있습니다.전이 학습을 사용하면 사전 훈련된 모델이 이전 학습을 기반으로 이미 가중치를 학습했기 때문에 신경망 가중치를 처음부터 학습하지 않습니다.GoogLeNet 및 YOLO와 같이 널리 사용되는 아키텍처 등 딥러닝 연구 커뮤니티에..

오토인코더(AutoEncoder) 란?오토인코더는 입력데이터를 주요 특징으로 효율적으로 압축(인코딩) 한 후, 이 압축된 표현에서 원본 입력을 재구성(디코딩) 하도록 설계된 일종의 신경망 아키텍처 입니다.대부분의 오토인코더 유형은 데이터압축, 이미지 노이즈 제거, 이상감지 및 안면인식 과 같은 특징 추출과 관련된 인공지능 작업에 사용됩니다.변이형 오토인코더(VAE) 및 적대적 오토인코더(AAE)와 같은 특정 유형의 오토인코더는 이미지 생성 또는 시계열 데이터 생성과 같은 생성 작업에 사용할 수 있도록 오토인코더 아키텍처를 적용합니다.오토인코더는 레이블이 지정된 훈련 데이터에 의존하지 않기 때문에 지도 학습 방법으로 간주되지 않습니다.레이블이 지정되지 않은 데이터에서 숨겨된 패턴을 발견하도록 훈련됩니다.그..

[머신러닝] RNN(Recurrent Neural Network)RNN 이란?RNN(Recurrent Neural Networks)은 순차적 데이터를 분석하기 위한 딥러닝 모델입니다. DNN(Deep Neural Network)은 은닉층 내 노드간에 연결이 안되어 있지만, RNN은 은닉층 내 노드를 연결하여, 이전 스www.ecopro.ai 구현관련 설명전체 7자리인 "hihello" 문자열의, 앞 6자리를 독립변수(x_data)로 뒤 6자리를 종속변수(y_data)로  RNN 모델링을 하여, 입력한 문자 다음 문자를 예측하는 모델을 구현Ex)입력 → 출력  'h'  →  'i'  'i'   →  'h'  'h'  →  'e'  'e'  →  'l'  'l'   →  'l'  'l'   →  'o'RNN..

Tensorflow의 CNN(Convolution Neural Network) 모델을 이용해서, 강아지,고양이 이미지를 학습 후, 분류하는 모델을 만들어 보겠습니다.기본설정파이썬 기본라이브러리 불러오기import pandas as pdimport numpy as npimport matplotlib.pyplot as plt구글 드라이브 연동colab에서 작성되었으며, 이미지는 구글드라이브에서 가져와서 학습한다.# 구글 드라이브 마운트from google.colab import drivedrive.mount('/content/drive')# 나의 루트 경로 설정rootdir = '/content/drive/MyDrive/Colab Notebooks/ML' 독립변수(x_data), 종속변수(y_data) 불러..

RNN 이란?RNN(Recurrent Neural Networks)은 순차적 데이터를 분석하기 위한 딥러닝 모델입니다. DNN(Deep Neural Network)은 은닉층 내 노드간에 연결이 안되어 있지만, RNN은 은닉층 내 노드를 연결하여, 이전 스텝의 정보를 은닉층 노드에 담을수 있도록 구성했습니다.순서가 있는 순차적 데이터란 문장이나 음성같은 연속적인 데이터를 말하는데, 이러한 데이터는 위치(순서)에 따라 의미가 달라지는 것을 말합니다. 즉 현재 데이터의 의미를 알기 위해서는 이전의 과거 데이터도 알고 있어야 합니다.자연어처리, 음성인식, 기계번역, 주가예측 등의 분야에 많이 사용됩니다.RNN은 은닉층 내의 순환구조를 이용하여, 과거의 데이터를 기억하여 새롭게 입력되는 데이터와 과거 데이터를 연..

CNN 이란?Convolutional Neural Network, 합성곱 신경망뉴럴 네트워크에서 컨볼루션 연산을 추가한 신경망입니다.인간의 시신경 구조를 모방한 기술이미지를 인식하기 위해 패턴을 찾는데 특히 유용함.특징맵을 생성하는 필터까지도 학습이 가능해 비전(vision) 분야에서 성능이 우수함.사람이 여러 데이터를 보고 기억한 후에 무엇인지 맞추는 것과 유사함.데이터를 직접 학습하고 패턴을 사용해 이미지를 분류함.이미지의 공간정보를 유지한 채 학습을 하게 하는 모델(1D로 변환하는 것이 아닌 2D 그대로 작업 함)자율주행자동차, 얼굴인식과 같은 객체인식이나 Computer Vision 이 필요한 분야에 많이 사용되고 있음. CNN 구조Fully Connected Layer 만으로 구성된 인공 신경망..

필요 라이브러리 설치!apt-get update!apt install chromium-chromedriver # 크롬드라이버 설치!pip install selenium # selenium 설치 구현 코드Crome webdriver 를 사용해서, selenium을 사용하는 경우라, 로컬에서 실행해야해서, vs code 에서 실행해야 한다.from bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.common.by import Byimport urllib.request..

mnist 데이터셋TensorFlow 샘플에 보면 mnist 데이터셋이 많이 등장합니다. MNIST는 인공지능 연구의 권위자 LeCun교수가 만든 데이터 셋이고 현재 딥러닝을 공부할 때 반드시 거쳐야할 Hello, World같은 존재입니다. MNIST는 60,000개의 트레이닝 셋과 10,000개의 테스트 셋으로 이루어져 있고 이중 트레이닝 셋을 학습데이터로 사용하고 테스트 셋을 신경망을 검증하는 데에 사용합니다. MNIST는 간단한 컴퓨터 비전 데이터 세트로, 손으로 쓰여진 이미지들로 구성되어 있습니다. 숫자는 0에서 9까지의 값을 갖는 고정 크기 이미지 (28x28 픽셀)로 크기 표준화되고 중심에 배치되었습니다 Tensorflow 모델링 구현 (Feat. keras.Sequential)구글 드라이브 ..

TensorFlow 란 무엇입니까?TensorFlow는 구글에서 만든 수치계산, 대규모 머신러닝, 딥러닝, 기타 통계 및 예측 분석 워크로드를 위한 오픈 소스 라이브러리입니다. 개발자들이 머신러닝 모델을 구현하는 것을 더 빠르고 쉽게 만들어 줍니다.TensorFlow는 기존 CPU(중앙처리장치) 또는 GPU(고성능 그래픽 처리 장치) 에서 실행할 수 있습니다. TensorFlow는 Google에서 개발했기 때문에 TensorFlow 작업속도를 높이기 위해 특별히 설계된 회사 자체 텐서 처리장치 (TPU)에서도 작동합니다.TensorFlow로 심층신경망을 학습시켜서 아래와 같은 작업을 할 수 있습니다.손으로 쓴 숫자 분류이미지 인식단어 임베딩 및 자연어 처리(NLP)TensorFlow는 현재 가장 인기있는..

멜론차트 TOP100 - 크롤링 예제멜론차트 TOP100 리스트 가져오기링크정보 : https://www.melon.com/chart/index.htm사이트 전체 HTML 정보 가져오기import requestsurl = 'https://www.melon.com/chart/index.htm'header = { 'User-Agent' : 'Mozilla/5.0', 'Referer' : url}response = requests.get(url, headers=header)result = response.text BeautifulSoup 객체로 변환from bs4 import BeautifulSoupsoup = BeautifulSoup(result, 'html.parser')print(soup.pr..