티스토리

에코프로.AI

검색하기

블로그 홈

에코프로.AI

www.ecopro.ai/m

AI, ML, DL 관련정보를 알려주는 개인 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[Cloud] 빅데이터 Pipeline 아키텍쳐 실제 세계에서 빅데이터 분석, 데이터 과학 및 머신 러닝(ML) 애플리케이션을 배포하기 위해 분석 튜닝 및 모델 학습은 작업의 약 25%에 불과합니다. 약 50%의 노력은 분석 및 ML을 위해 데이터를 준비하는 데 사용됩니다. 나머지 25%의 노력은 통찰력과 모델 추론을 대규모로 쉽게 사용할 수 있도록 만드는 데 사용됩니다. 빅데이터 파이프라인은 이 모든 것을 하나로 모읍니다. 장기적인 성공은 데이터 파이프라인을 올바르게 만드는 데 달려 있습니다. 데이터 파이프라인의 바람직한 엔지니어링 특성은 다음과 같습니다.접근성: 가설 평가 및 모델 실험을 위해 데이터 과학자가 데이터에 쉽게 접근할 수 있어야 하며, 이는 바람직하게는 쿼리 언어를 통해 가능합니다.확장성: 수집된 데이터 양이 늘어나도 그에 맞춰 확장.. 공감수 2 댓글수 1 2025. 2. 20.
데이터 파이프라인(Data Pipeline) ? 데이터 파이프라인(Data Pipeline) 이란?데이터 파이프라인은 데이터를 수집, 가공, 저장, 분석 가능한 형태로 전달하는 과정을 자동화하는 기술적 접근방식입니다. 이 과정은 비즈니스 의사 결정, 머신러닝 모델의 학습, 데이터 제품의 개발 등 다양한 용도로 사용되는 데이터의 질과 가용성을 보장합니다. 따라서, 데이터 엔지니어링과 데이터 파이프라인 구축은 기업이 데이터를 자산으로 전환하여 경쟁력을 높이는 데 필수적인 과정입니다. 데이터 파이프라인 구축의 핵심 원칙데이터 파이프라인을 구축할 때 몇 가지 핵심 원칙을 고려해야 합니다. 왜냐하면 이러한 원칙은 데이터 파이프라인의 효율성과 신뢰도를 높이는 데 도움이 되기 때문입니다. 첫째, 데이터 파이프라인은 가능한 한 자동화되어야 합니다. 자동화는 반복적.. 공감수 0 댓글수 0 2025. 2. 15.
[Cloud] AWS vs Azure vs GCP: Comparing The Big 3 Cloud Platforms 클라우드 컴퓨팅 플랫폼의 빅3클라우드 컴퓨팅은 조직이 디지털 운영을 처리하는 방식에 혁명을 일으켰습니다. Amazon Web Services(AWS), Microsoft Azure, Google Cloud Platform(GCP)은 전 세계 클라우드 시장을 지배하는 3대 클라우드 서비스 제공업체 입니다.대부분의 기업은 온사이트 서버에서 클라우드, 심지어 멀티 클라우드 환경 으로 컴퓨팅을 이전하여 다음과 같은 기능의 이점을 누릴 수 있습니다.CapEx 감소인프라 유지 관리 감소가용성 및 안정성 향상주문형 리소스의 확장성운영 비용 절감원격 액세스 및 원활한 협업다양한 장치 지원속도와 성능을 위한 최적화된 인프라강화된 보안최신 기술에 대한 접근 빅3 클라우드 컴퓨팅 제공업체는 모두 신뢰할 수 있고 기능이 풍부.. 공감수 3 댓글수 0 2025. 2. 14.
빅데이터 관련 직업 분류 2013년부터 인기가 폭발적으로 치솟은 데이터 사이언스 분야는 점차 발전하며 구체적인 역할과 직업으로 세분화되고 있다. 하지만 그 과정에서 직업마다 일관성 없는 역할이 주어졌고, 어쩔 수 없는 혼란을 가져왔다. 예를 들어, 다양한 직업이 똑같은 역할을 수행하는 경우도 있고, 한 직업이 다양한 역할을 수행하는 경우도 있다:1. 데이터 사이언티스트필요 역량데이터 분석에 대한 기본 통계학과 수학적 지식 머신러닝과 딥러닝 모델 개별 경험 데이터 시각화 및 인사이트 발굴 능력추천 기술SQL, 파이썬, R, 머신러닝 알고리즘 업무상세데이터 사이언티스트는 다양한 데이터를 수집, 전처리, 시각화하고 이를 통해 비즈니스에 가치를 창출하는 역할을 수행합니다. 다시 말해, 이들은 비즈니스에서 표면적으로 드러나지 않는 문제를.. 공감수 0 댓글수 0 2025. 1. 13.
[python WebApp framework] gradio, streamlit, dash 비교 gradiostreamlitdashhttps://www.gradio.app/https://streamlit.io/https://dash.plotly.com/ Gradio, Streamlit, Dash는 모두 파이썬 기반의 웹 애플리케이션 개발 프레임워크로, 각각 고유한 특징과 장단점을 가지고 있습니다. 이들을 비교해보면 다음과 같습니다:사용 편의성Gradio: 매우 간단하고 직관적입니다. 최소한의 코드로 빠르게 인터페이스를 만들 수 있어 초보자에게 적합합니다.Streamlit: 사용하기 쉽지만, Gradio보다는 약간 더 복잡합니다. 그러나 더 많은 커스터마이징 옵션을 제공합니다Dash: 세 가지 중 가장 가파른 학습 곡선을 가지고 있지만, 높은 수준의 제어와 유연성을 제공합니다주요 용도Gradio: 머.. 공감수 2 댓글수 1 2024. 12. 10.
[커리큘럼] 정리 보호되어 있는 글입니다. 공감수 0 댓글수 0 2024. 12. 10.
[AI Foundation] 생성 AI (Generative AI) 란? 1. Generative AI (생성 AI) 란? Generative AI는 기계 학습의 한 분야로, 학습한 데이터를 기반으로 새로운 데이터(이미지, 텍스트, 음악 등)를 생성하도록 합니다. 예를 들어, 이미지 생성, 텍스트 작성, 음악 작곡 등이 이에 해당합니다. 이러한 AI는 기존 데이터로부터 학습하여 새로운, 오리지널 콘텐츠를 만들어냅니다. Generative AI, 생성 AI 는 인간이 손으로 만드는 것보다 더 빠르고 저렴할 뿐만 아니라 경우에 따라서는 더 나은 결과를 만들어낼 수 있는 단계에 와 있습니다. 소셜 미디어에서 게임, 광고, 건축, 코딩, 그래픽 디자인, 제품 디자인, 법률, 마케팅, 영업에 이르기까지 인간이 독창적인 작업을 만들어야 하는 모든 산업이 재창조될 수 있습니다. 어떤 업무.. 공감수 0 댓글수 0 2024. 1. 18.
[AI Foundation] 머신러닝(ML)과 수학 머신러닝(ML)에 수학이 필요한 이유 수학을 몰라도 파이썬을 이용해서, 머신러닝 모델을 생성할 수는 있지만, 모델 알고리즘을 최적화하고,결과를 해석할려면아래와 같은 관련 수학지식이 필요합니다. 이해와 설계 : 머신러닝 알고리즘은 수학적 개념을 기반으로 합니다. 이를 이해하고 효율적으로 설계하기 위해서는 기본적인 수학 지식이 필요합니다. 최적화 : 머신러닝 모델을 훈련시키는 과정은 주어진 데이터에 대해 최적의 패턴을 찾는 것을 포함합니다. 이 과정은 수학적 최적화 기법을 사용합니다. 데이터 이해 : 데이터의 구조와 패턴을 파악하고 모델링하기 위해 통계학적 방법이 필요합니다. 결과 해석 : 모델의 결과를 해석하고 유효성을 검증하기 위해 통계적 지식이 필요합니다. 머신러닝(ML)에 필요한 수학 선형대수학 : .. 공감수 0 댓글수 1 2024. 1. 18.
[AI Foundation] 머신러닝(ML)의 6단계 워크플로우 1. 기획 - 머신러닝 적용 타당성 검토 목표 설정과 문제 정의 이해하기 쉬운 비유 머신러닝 프로젝트를 시작하기 전에, 우리는 목적지를 정하고 지도를 확인하는 여행자처럼, 무엇을 해결하려고 하는지 정확히 정의해야 합니다. 주요 활동 비즈니스 문제를 이해하고, 머신러닝이 이를 해결하는 데 어떻게 도움이 될 수 있는지 타당지표를 평가합니다. 예를 들어, 고객 이탈을 줄이는 것이 목표일 수 있습니다. 2. 데이터 준비 데이터 수집 및 정제 이해하기 쉬운 비유 요리를 하기 위해 식재료를 준비하듯이, 데이터를 수집하고, 정리하며, 문제에 적합하게 만듭니다. 주요 활동 데이터를 수집하고, 누락된 값이나 이상치를 처리합니다. 이 단계는 종종 시간이 많이 소요되며, 데이터의 질이 프로젝트의 성공에 중요합니다. 3. 모.. 공감수 0 댓글수 0 2024. 1. 18.
[AI Foundation] 머신러닝(ML) 개발을 위한 필요기술 머신러닝을 사용하여, 데이터를 전처리하고, 모델을 만들고, 검증등의 작업을 하려면 여러가지 기초지식이 필요합니다. 아래의 지식들을 어느정도 알고있어야 상황에 맞고 효율적인 모델작업이 가능합니다. 1. 수학 지식 https://www.techslang.com/the-role-of-mathematics-in-machine-learning/ 너무 깊은 지식은 필요하지 않을 수도 있으나, 기초적인 흐름은 알고있어야, 모델의 검증이나 모델조정작업 시 원활한 작업이 가능할 것 같습니다. 통계학 : 데이터 이해, 기술적 통계, 확률론 선형대수 : 벡터, 행렬 연산 미적분학 : 함수의 이해, 기울기, 최적화 기초적인 확률론 : 확률적 사고, 조건부 확률 2. 프로그래밍 지식 https://devopedia.org/ma.. 공감수 1 댓글수 0 2024. 1. 18.
[AI Foundation] 딥러닝(DL) 이란? 정의 딥 러닝(Deep Learning)은 머신 러닝(Machine Learning)의 특정한 한 분야로서 인공 신경망(Artificial Neural Network)의 층을 연속적으로 깊게 쌓아올려 데이터를 학습하는 방식을 말합니다. Deep 하다는 의미는 층을 연속적으로 쌓아올렸기 때문에 붙은 단어라고 보시면 쉽게 이해가 됩니다. 딥 러닝이 화두가 되기 시작한 것은 2010년대의 비교적 최근의 일이지만, 딥 러닝의 기본 구조인 인공 신경망의 역사는 생각보다 오래되었습니다. 이번 글에서는 딥 러닝의 역사부터 layer를 깊게 쌓아 학습하는 원리, 그리고 실제 산업에 적용되는 사례와 데이터/ 학습에서 주요하게 고려할 점을 다루어 보도록 하겠습니다. Introduction to Deep Learning: .. 공감수 1 댓글수 0 2024. 1. 18.
[AI Foundation] 머신러닝(ML)의 분류 머신러닝(ML)의 분류 머신러닝 유형(지도 학습, 비지도 학습, 강화 학습, 준지도 학습, 전이 학습)에는 다양한 세부 기술과 알고리즘이 있으며, 이들은 특정 분야에서 특정 문제를 해결하기 위해 사용됩니다. 아래에서는 각 유형의 세부 종류와 그에 해당하는 사용 분야를 소개하겠습니다. https://serokell.io/blog/ai-ml-dl-difference 1. 지도 학습 (Supervised Learning) 입력 데이터와 해당 출력(레이블)을 기반으로 모델을 훈련시키는 방법. 모델은 입력 데이터로부터 출력을 예측하도록 학습합니다. 즉. 정답이 무엇인지 알고 있는 데이터(=Labeled data)를 컴퓨터에게 학습시켜, 새롭게 들어오는 데이터에 대한 결과를 예측하는 학습 방법 세부 종류 선형 회귀.. 공감수 0 댓글수 0 2024. 1. 18.
[AI Foundation] 인공지능(AI)이란? (Feat. 머신러닝(ML), 딥러닝(DL)) https://serokell.io/blog/ai-ml-dl-difference 인공지능(Artificial Intelligence) > 머신러닝(Machine Learning) > 딥러닝(Deep Learning) > 생성형AI(Generative AI) 인공지능 (Artificial Intelligence, AI) 정의 인간처럼 생각할 수 있는 기계를 만드는 과학입니다. 전통적으로 인간 지능이 필요했던 작업들을 컴퓨터로 수행하는 것을 의미합니다. AI 기술은 사람보다 많은 양의 데이터를 다양한 방식으로 처리할 수 있습니다. 인공지능은 인간의 지능과 유사한 방식으로 학습하고 사고하고 행동할 수 있는 컴퓨터 시스템을 개발하는 것입니다. AI는 컴퓨터 공학, 데이터 분석, 통계, 신경 과학, 철학, 심리학.. 공감수 0 댓글수 0 2024. 1. 18.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.