| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- 전처리
- stopwords
- sklearn
- 이상치
- join
- subplots
- Outlier
- 대치법
- SimpleImputer
- 파이썬
- 데이터프레임
- 결측치
- BDA
- koNLPy
- Boxplot
- DataFrame
- matplotlib
- 결측치대체
- 누락값
- interpolate
- 선형보간
- 보간법
- Seaborn
- 불용어
- Python
- countplot
- KoNLP
- value_counts
- MSE
- IterativeImputer
- Today
- Total
목록Outlier (2)
ACAIT
[BDA 데분기] 5주차 필수 과제 - 이상치 관련 분석
0. 예시 데이터로 이상치 확인 1. 이상치 관련 작업 1-1. 베이스라인 모델 회귀분석 # train_test_split(arrays, test_size, train_size, random_state, shuffle, stratify) arrays: 분할시킬 데이터 입력 test_size: 테스트 데이터셋의 비율, 갯수(default = 0.25) train_size: 학습 데이터셋의 비율, 갯수(default = test_size의 나머지) random_state: 데이터 분할 시 셔플을 위한 시드값(int나 RandomState로 입력) shuffle: 셔플 여부(default = True) stratify: 지정한 Data 비율 유지. ex) Label Set인 Y가 25%의 0과 75%의 1인 ..
[BDA 데분기] 5주차 - 이상치, Outlier
이상치와 관련된 내용을 복습하도록 하겠습니다. 결측치와 이상치는 다른 개념. 이상치(Outlier)는 값이 튀는 것. Outlier detection: 예상 범위를 벗어나는 것을 잡아야 함. Outlier로 회귀에 문제가 있는 이유: 하나의 직선을 그릴 때 해당 값 때문에 기울기가 많이 바뀜. 이상치 하나 때문에 다른 데이터도 설명하기 어려워지고, 회귀식에 영향을 미친다. 1. 이상치 찾는 방법 정규분포: 정규분포를 이룰 때 데이터 스케일링 작업 진행. IQR: Interquartile range의 약자로써 Q3 - Q1를 의미. "어디까지가 이상치 데이터다" 라고 판단하는 기준 중 하나. Isolation Forest: 데이터 트리 기반으로 나누고, 한쪽은 분류를 못하게 되면 이상치라고 생각하고 분류되..