2020년 새해 좋은 일 가득하시고, 항상 건강하시길 바라겠습니다.

계속해서 3장 선형 회귀 분야입니다.앞으로 여유시간이 많지 않을거 같은데… 끝까지 달려보겠습니다.3.2 내용을 요약 및 제가 아는 부분을 포함해 정리했습니다. 이번 강의내용은 저에게 큰 의미가 있는 내용입니다. Ch3 선형 회귀3.1 단순선형회귀3.2 가설 검증 및 신뢰 구간3.3 다중선형회귀3.4 주요 질문들3.5 선형모델 확장3.R R에서의 선형회귀(출처: Statistical Learning, Stanford Online Lagunita) 강의 내용 요약가설검증을 통해 계수에 대해 통계적으로 적합(유의)한지 판단할 수 있다. 이를 위해, 계수에 대한 신뢰구간이나, t 검정통계량에 대한 p값을 통해 계수가 적합한지 판단한다. 회귀 모델 자체에 대해서는 RSE(잔차표준오차)나, R^2 값을 이용해 정확..

드디어 개요 부분을 지나 3장 선형 회귀 분야에 들어갑니다. 이번에도 두번째 강의수강노트 올리고, 약 2주 정도 흘렀군요. 먼저 3.1 내용을 요약 정리했습니다. 점점 양이 많아지는 듯하네요. Ch3 선형 회귀 3.1 단순선형회귀 3.2 가설 검증 및 신뢰 구간 3.3 다중선형회귀 3.4 주요 질문들 3.5 선형모델 확장 3.R R에서의 선형회귀 (출처: Statistical Learning, Stanford Online Lagunita) 강의 내용 요약 선형회귀는 특정 값에 대한 예측을 선형식으로 표현한다. 복잡한 분석 기법을 이해하기 위해 개념을 잘 이해할 필요가 있다. 회귀분석 식은 RSS(잔차제곱합)을 최소로 하는 계수값들을 통해 구성하며, 계수값들의 정확도는 보통 계수에 대한 95% 신뢰구간을 ..

지난 포스트에 이어 스탠포드 Statistical Learning 두번째 챕터 내용입니다. 첫 강의내용 올리고, 시간이 벌써 2주이상 흘렀습니다. 너무 늦어지면 안될거 같아 오늘 올립니다. 이중 2.4~2.R, 및 인터뷰 내용을 다루겠습니다. 수식은 되도록 배제하고, 의미를 이해하는데 집중하겠습니다. Ch2 통계적 학습 개요 2.1 회귀분석 입문 2.2 차원 및 구조적 모델(structured models) 2.3 모델 선정 및 편향-분산 트레이드오프 2.4 분류분석 2.R R 소개 존 챔버와의 인터뷰 (출처: Statistical Learning, Stanford Online Lagunita) 강의 내용 요약 분류(Classification)는 질적 변수(qualitative)인 목표값을 찾는 분석으로..

스탠포드 Statistical Learning 두번째 챕터 내용이다.이중 2.1~2.3 내용을 다루겠다. 강의 내용을 적절히 재구성 및 요약했다. Ch2 통계적 학습 개요 2.1 회귀분석 입문 2.2 차원 및 구조적 모델(structured models) 2.3 모델 선정 및 편향-분산 트레이드오프 2.4 분류분석 2.R R 소개 존 챔버와의 인터뷰 (출처: Statistical Learning, Stanford Online Lagunita) 강의 내용 요약 회귀분석에 대한 정의, 차원의 저주, 그리고 회귀분석 외에 쓰이는 다양한 분석 기법 종류의 예측정확도와 해석가능성의 관계, 그리고 MSE(평균제곱오차), 분산, 편향에 대해 설명한다. 1. 회귀(regression)이란 무엇일까? 예를 들어, 매출이..

맞춤형 서비스 개발하기 위해서는 어떤 데이터가 필요할까? 분석은 패턴을 발견하여 미래에 적합한, 적절한 '어떤'것을 찾기 위해 행한다. 의사결정 도구인 것이다. 적절한 분석을 수행하기 위해서는 먼저 데이터가 필요하다. 이러한 데이터에는 무엇이 있을까? 기업 사례를 통해 데이터 종류에 대해 알아보자. 타깃사 먼저 예전글(Target(타깃): "How Companies Learn Your Secrets')을 보면, 미국 타깃(Target)사가 있다. 타깃사는 고객을 "Guest ID number"를 통해 관리하며, 고객 행동정보와 인구통계학적 정보를 수집 또는 구매하여 분석한다. 행동정보로 보는 것은, - 구매 물품 종류 - 신용카드 사용 여부 - 쿠폰 사용 여부 - 설문조사 작성 여부 - 환불 요구 여부 ..

강의 내용 설명에 앞서 이 내용을 게재 및 다시 공부하게 된 이유는,데이터 분석에 대해 제대로 공부하지도 않고 못했던 점들이 항상 걸렸기 때문이다.이에, 기본부터 다시 시작하려고 한다.궁금한 점이 있으면 댓글로 달아주시면 아는 범위 내에서 답변 및 공유드리겠다.강의 내용을 적절히 재구성 및 요약한 점을 밝힌다. 스탠포드 Statistical Learning 첫번째 챕터 내용이다. 챕터1 소개1.1 오프닝 인사1.2 예제 및 프레임워크(출처: Statistical Learning, Stanford Online Lagunita) 한줄요약Statistical Learning 정의부터, Statistical Learning을 통해 수행가능한 것들, 지도학습 및 비지도학습에 대한 개요, 분석을 대하는 자세에 대해..

'통계 학습을 위한 핵심요소', '통계 학습 입문', '데이터 분석 역량 핵심요소' 원서 소개글에서 언급한 원서에 대해 이제 차례차례 공부해보고자 한다. 원서 "2. "An Introduction to Statistical Learning with Applications in R(R 기반 애플리케이션과 함께하는 통계 학습 입문)"부터 차례대로 하고자 한다. 이 원서를 번역하면서 하나씩 차례로 익히면 좋겠지만 시간이 많이 소요된다. 그래서 좀 검색해보니 미국 스탠포트 대학에서 무료로 제공하는 온라인 강의가 이 자료의 전체를 커버한다는 사실을 발견했다. StatLearning 이란 코스로 자기 페이스(Self-Pace)에 맞춰 강의 학습이 가능하다. 실제 위 원서 책을 저술한 교수님들(Trevor Hasti..

데이터 분석에 대해 공부하기 위한 방법에는 어떤게 있을까? 가장 좋은 방법은 통계에 대해 관심을 갖고, 대학, 대학원을 거쳐 통계학, 계량경제학, 산업공학 등 관련 학과에서 꾸준히 공부하는 것일 것이다. 공부 방법을 조금 더 깊이 들어가보면,1) 멘토(예: 관련 분야 교수님, 구루, CEO 등)를 만나 가르침을 받는다.2) 다양한 교육기관 온라인 영상으로 배운다.3) 스스로 관련 원서를 찾아 독학한다. 등 여러가지 길이 있을 것이다. 이중 '3번 스스로 관련 원서를 찾아 독학한다.'을 통해 통계, 데이터 분석 및 빅데이터 분석에 나아가고자 하는 사람들에게 도움이 되고, 스스로도 배우기 위해 3번 공부법을 이 블로그를 통해 진행하고자 한다. 3번으로 하기 위해 선택한 3가지 원서는 아래와 같다(출간일 순)..

빅데이터는 새롭지 않다. 빅데이터는 기존과 다른 완전히 새로운 이론이나 원칙이 아니며, 현 시대의 현상이다. 빅데이터 시대에서도 데이터를 분석 하는 방법은 기존과 동일하다. 단, 이제는 다양한 데이터를 빠르게 분석해야 하는 상황에 왔다 - 이러한 이유로 데이터의 ‘패턴’을 쉽고 빠르게 표현할 수 있는 시각화가 중요해지고 있는 상황이다. 빅데이터란 무엇일까? 빅데이터는 흔히 3V로 정의할 수 있다. 여기서 3V란 Variety(종류), Velocity(속도), Volume(크기)를 말한다. 다양한 종류의 데이터가 빠른 속도로 생성되어 엄청난 크기의 데이터를 만들어 내서, 기존의 데이터 처리 기술로 저장, 처리, 관리, 분석하기 힘든 데이터를 빅데이터라 할 수 있다. 빅데이터 시대에서 종류(Variety)가..