티스토리

데이터 분석

검색하기

블로그 홈

데이터 분석

debakbak.tistory.com/m

ㄷㅐ장님 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[R] 머신러닝 - Naive Bayes로 학습 후 분류 머신러닝(machine learning) : 인간의 학습 능력과 같은 기능을 컴퓨터가 하게 만드는 기술로 인공지능(AI) 연구분야의 하나이다. *인공지능이란 인간이 원래 가지고 있는 지적 능력을 컴퓨터가 하게 만드는 기술 분류 : 주어진 데이터 분류 예측 : 과거의 수치를 기반으로 미래의 수치 예측 군집 : 데이터를 비슷한 집합으로 모으는 작업 지도학습(supervised learning) : 레이블(정답)이 달려 있고 정해져 있는 데이터를 가지고 학습 예) 이미지학습 개/고양이, 스팸/햄, 긍정/부정, 시험성적예측, 로또예측, 주가예측 비지도학습(unsupervised learning) : 레이블(정답)이 없는 데이터를 학습을 통해 군집한다. 유사한 뉴스를 그룹으로 모으는 학습 문장 레이블(정답) 오늘.. 공감수 0 댓글수 0 2022. 2. 18.
[R] ngram, 토근화 ngram(s) : 연이어 사용된 n개의 단어를 엔그램(ngram)이라고 한다. 1-gram : 하나의 단어 2-gram : bigram 두단어 3-gram : trigram 세단어 4-gram .. 연이어 사용되는 단어의 쌍을 분석 ex) 죽는 날까지 하늘을 우러러 한 점 부끄럼 없기를 잎새에 이는 바람에도 나는 괴로워했다. 죽는 날까지 날까지 하늘을 하늘을 우러러 우러러 한 한 점 점 부끄럼 부끄럼 없기를 없기를 잎새에 잎새에 이는 이는 바람에도 바람에도 나는 나는 괴로워했다 토근화 install.packages("RWeka") library(RWeka) Tokenizer 공감수 0 댓글수 0 2022. 2. 18.
[R] 감성분석 예제 - 취임사 분석(군산대 감성분석사전) [문제216] 문재인 대통령의취임사 감성분석하기 스크롤링 library(rvest) html 공감수 0 댓글수 0 2022. 2. 18.
[R] 자연어 처리 - NLP Sys.setenv(JAVA_HOME="C:/Program Files/Java/jdk1.8.0_271") install.packages("rJava") library(rJava) install.packages("openNLP") library(openNLP) library(NLP) NLP::annotate() : 텍스트 데이터에 주석 작업을 수행하는 함수 openNLP::Maxent_Sent_Token_Annotator() : 문장단위 주석 작업을 하는 함수 openNLP::Maxent_Word_Token_Annotator() : 단어단위 주석 작업을 하는 함수 openNLP::Maxent_POS_Tag_Annotator() : 품사를 태깅하는 함수 text 공감수 0 댓글수 0 2022. 2. 16.
[R] 감성분석 감성분석 감성분석(sentiment analysis) 또는 opinion mining : 텍스트에 내재되어 있는 감정적 상태나 주관적 평가를 식별하고 추출하는 텍스트 분석 기법 install.packages("tidytext") library(tidytext) install.packages("textdata") library(textdata) bing : positive, negative 분류 get_sentiments('bing') get_sentiments('bing')$word unique(get_sentiments('bing')$sentiment) afinn : -5(부정) ~ +5(긍정)의 범위를 갖는 점수로 표현 get_sentiments('afinn') get_sentiments('afinn.. 공감수 0 댓글수 0 2022. 2. 16.
[R] text mining data mining : 수많은 데이터 중 의미있는 정보를 추출해 내는 분석과정 text mining : 텍스트로부터 의미 있는 정보를 추출하는 데이터 분석 기법으로 text analytics,text analysis라고 한다. 활용) 1. 문서 분류 2. 문서나 단어 간의 연관성 분석 3. 감성 분석 corpus(말뭉치) : 언어 연구를 위해 텍스트를 컴퓨터가 읽을 수 있는 형태로 모아놓은 언어의 집합(사전 작업) 텍스트 마이닝을 하기 위한 단계 문서(비정형 데이터) -> corpus -> 구조화된 문서 -> 분석 install.packages("tm") library(tm) data 공감수 0 댓글수 0 2022. 2. 15.
[R] 다나와 사이트 Web scrapling(selenium) [문제210] 다나와에서 apple 노트북 정보를 수집해서 데이터프레임으로 저장해주세요. cmd 포트에 port접속 cd c:/data java -Dwebdriver.chrome.driver="chromedriver.exe" -jar selenium-server-standalone-4.0.0-alpha-1.jar -port 7777 자동화 웹페이지 열고(다나와 사이트) apple 제품만 검색하기 library(RSelenium) library(xml2) library(rvest) remdr %html_text(trim=T) 제품 정보 추출 #제품정보 prod_info %html_text(trim=T) prod_info 공감수 0 댓글수 0 2022. 2. 15.
[R] web scraping - selenium F12 -> Network -> Name 에서 Request URL 못 찾을 때 반응형 웹사이트(made by 자스) selenium : 웹브라우저를 컨트롤하여 웹을 자동화하는 프로그램 1. chrome driver 다운로드 도움말>크롬정보 Chrome이 최신 버전입니다. 버전 98.0.4758.82(공식 빌드) (64비트) https://chromedriver.chromium.org/downloads 맞는 버전(최대한 비슷한 버전) 다운로드 2. selenium jar file 다운로드 (chrome driver랑 같은 위치에 있어야함) selenium-server-standalone-4.0.0-alpha-1.jar 3. 설치(in R) install.packages("RSelenium") librar.. 공감수 0 댓글수 0 2022. 2. 10.
[R] web scraping - css, xpath,JSON 웹 페이지 주소가 위치정보만 가지고 있을 때(1페이지,2페이지 주소가 같을 경우) 요약 ) 실제 주소를 찾는 방법 F12 -> Network -> Preview 확인하면서 수집할 대상이 있는 Name 찾기 -> Headers Request URL 확인 가능 +) RequestURL에 https://comment.daum.net/apis/v1/posts/149671721/comments?parentId=0&offset=0&limit=10&sort=RECOMMEND&isInitial=true&hasNext=true offset=m limit=n : m번째부터 n개의 데이터를 출력함(JSON) 1. css 선택자 사용 방법 실제 주소 찾기 F12 -> Network -> Preview 확인하면서 수집할 대상이.. 공감수 0 댓글수 0 2022. 2. 10.
[R] 크롤링, 스크래핑 크롤링(crawling) : 자동화된 방법으로 웹을 탐색하는 컴퓨터프로그램 인터넷 사이트의 웹페이지를 수집해서 분류하는 프로그램 스크래핑(scraping) : 웹브라우저 화면에 표시되는 html 문서에서 사용자가 필요한 정보만 추출하여 수집하는 기술 1. 사용자가 웹브라우저의 주소창에서 url을 직접 입력한다. 2. request : 웹브라우저는 요청한 메세지를 작성해 웹서버로 전송한다. 3. response : 웹서버는 요청받은 정보를 클라이언트에게 보낸다.(HTML) 4. 웹브라우저는 응답메세지를 해석해 사용자에게 정보를 출력한다. install.packages("rvest") library(rvest) html % html_text()#태그정보 제외하고 text만 출력 F12 화면에서 id = # .. 공감수 0 댓글수 0 2022. 2. 9.
[R] 텍스트 마이닝 텍스트 전처리 과정 1. 토큰화(Tokenization) : 텍스트를 정해진 단위로 나누는 작업 - 단어 : 빈칸을 기준으로 나눈다. - 형태소 : 의미를 가지는 최소 단위, 품사를 기준으로 나누는 작업 - 글자 : 한글자 기준으로 나누는 작업 - 초성(자음),중성(모음),종성(자음) 2. 불용어 처리(stopword) : 의미없는 단어를 제거하는 작업(주관적) 3. 의미없는 특수문자, 숫자 제거(주관적) 4. 대소문자 통일(주로 소문자로 통일) 변경하지 않을 특수문자, 대소문자, 숫자는 Trump -> Trump_unique 로 변경 후 전체 문자 변경 Trump_unique -> Trump 다시 원위치 5. 어근 추출 : 단어 표현에 대한 통일 작업을 해야한다. 예) 놀아요, 놀아, 놀고 싶어요, 놀.. 공감수 0 댓글수 0 2022. 2. 8.
[R] 문제풀이 [문제199] 다음 message에서 전화번호를 추출해주세요. message 공감수 0 댓글수 0 2022. 2. 7.
[R] stringr library(stringr) text 공감수 0 댓글수 0 2022. 2. 4.
[R] grep, 정규표현식(Regular Expression) grep : 동일한 문자열을 벡터에서 찾아서 인덱스번호, 문자열을 리턴하는 함수. 특정한 단어가 벡터안에 있는지 찾는 함수. text 공감수 0 댓글수 0 2022. 2. 3.
[R] 시각화 - wordcloud wordcloud install.packages("wordcloud") library(wordcloud) word 공감수 0 댓글수 0 2022. 2. 3.
[R] 시각화 문제 -barplot,ggplot [문제177] 코로나 바이러스 데이터에서 가장 최근 국가별 확진자, 사망자, 획복자 수를 구한후 확진자 수로 내림차순 정렬하세요. 1) 최근 확진자 수 구하기 covid 공감수 0 댓글수 0 2022. 1. 28.
[R] 시각화 - ggplot histogram,boxplot histogram cost 공감수 0 댓글수 0 2022. 1. 28.
[R] 시각화 - 꺾은선 그래프, 산점도, 분할보기 꺾은선 그래프 geom_line() x % filter(전염병=='A형간염')%>% select(년도,건수)%>% ggplot(aes(x=as.integer(년도),y=건수))+ #factor형은 int로 변경 geom_line()+ scale_x_continuous(breaks = 1:5,labels = 2015:2019) #breaks= 만들고 labels= 표현! [문제 176] ggplot을 이용해서 line plot을 생성해주세요. data 공감수 0 댓글수 0 2022. 1. 28.
[R] 시각화 - 원형차트, 양방향 barplot 원형 차트 coord_polar(theta = 'y',start=0) week_cnt 공감수 0 댓글수 0 2022. 1. 27.
[R] 시각화 - ggplot ggplot install.packages('ggplot2') library(ggplot2) ggplot(data=sql,aes(x=name,y=grade))+ geom_bar(stat='identity',fill='pink',colour="red") #stat='identity' : y축에 명시한 값을 기준으로 그래프를 표현 1) geom_bar ggplot(data=sql,aes(x=name,y=grade))+ geom_bar(stat='identity',fill="pink",colour="red")+ labs(title='SQL점수',x='학생이름',y='점수')+ theme(plot.title = element_text(face="bold",color = "darkblue",hjust = 0.5).. 공감수 0 댓글수 0 2022. 1. 27.
[R] 시각화 - histogram, box plot histogram(his) : 연속형 자료가 모여있는 위치나 자료의 분포에 관한 대략적인 정보를 파악하는 그래프 하지만 구체적인 수치정보를 알 수 없다 right=F : 이상~미만 right=T : 초과~이하 hist(cost,breaks=seq(50,110,by=10),right=F,col=rainbow(7),ylim =c(0,20),labels=T) box plot : 최솟값, 제1사분위수, 중앙값, 제3사분위수,최댓값의 다섯가지 요약수치 등을 파악할 수 있는 그래프 이상치 데이터를 확인할 수 있다 boxplot(cost,horizontal=T) 1.중앙값(median) mean(cost) ≠ median(cost) 1-1) 관측값을 크기순으로 정렬(오름차순) 1-2) 관측값의 개수를 센다(n) n=.. 공감수 0 댓글수 0 2022. 1. 27.
[R] cut cut : 연속형 변수를 범주형 변수로 변환하는 함수 cut(데이터,breaks = seq(최솟값,최댓값,by=간격),right=F/T) cut(score,breaks = seq(60,100,by=10),right=F) #right=F : (60,70] 60이상 70미만 cut(score,breaks = seq(60,100,by=10),right=T) #right=T : [60,70) 60초과 70이하 x 공감수 0 댓글수 0 2022. 1. 27.
[R] 빈도표 문제2 [문제167] 조사된 데이터 값들이 있습니다. 도수분포표를 만드세요. 90 88 78 65 80 94 69 72 83 64 95 68 87 69 82 91 63 70 81 67 계급 도수 누적도수 90점이상 4 4 80점이상~90점미만 6 10 70점이상~80점미만 3 13 60점이상~70점미만 7 20 1) 데이터 입력하기 공감수 0 댓글수 0 2022. 1. 26.
[R] reshape2::melt,dcast install.packages("reshape2") library(reshape2) reshape2::melt(데이터,id='기준') : 컬럼이 많은 형태(wide)를 세로방향으로 긴(long) 형태로 변경하는 함수 기본데이터 reshape2::melt(fruits,id='year') reshape2::melt(fruit,id=c('year','name')) reshape2::dcast(데이터,행~열) : long(세로)을 wide(가로) 형태로 변경하는 함수 m% dplyr::group_by(year)%>% dplyr::summarise(qty=sum(qty),price=sum(price)) dcast(m,year~variable,sum) 공감수 0 댓글수 0 2022. 1. 26.
[R] 시각화 - 산점도 그래프(scatter plot) 산점도(scatter plot) : 데이터를 점으로 표시하여 흩뿌리듯이 시각화한 그래프 데이터의 실제값들이 표시되므로 분포를 한눈에 살펴보는데 유용하다. x-y plotting plot(x=women$height,y=women$weight, xlab = '키',ylab='몸무게', main='여성의 키와 몸무게',sub='미국 70년대 기준', type='b',lty=2,lwd=2,pch=7,cex=2,col="darkblue") +) type p:점 / l:선 / b:점&선 / c: b의 선 / o:점위에 선 / h:수직선 / s:계단형 / n:나타내지 않음 lty 선의 유형(0~6) lwd 선의 굵기 (기본값 1) pch 점의 종류 axis : x축과 y축을 생성하는 함수 #산점도 그래프(x축,y축 .. 공감수 0 댓글수 0 2022. 1. 25.
[R] bar plot 문제(실제 데이터 사용) [문제163] 구별 진료과목별 병원현황을 그룹형 막대그래프로 시각화 해주세요. data 공감수 0 댓글수 0 2022. 1. 25.
[R] 시각화 - stacked/group bar plot x1 공감수 0 댓글수 0 2022. 1. 25.
[R] 시각화 - 막대그래프(barplot) 막대그래프(barplot) : 빈도표(도수분포표)를 활용하여 각 수준(도수)의 값(크기)을 높이(막대)로 표현하는 그래프 sales 공감수 0 댓글수 0 2022. 1. 25.
[R] 빈도표 빈도표 생성하기 직업별, 부서별 빈도표 생성하기 1)tapply tapply(employees$EMPLOYEE_ID,list(employees$JOB_ID,employees$DEPARTMENT_ID),length,default = 0) 2) table(테이블) : 데이터 빈도수를 생성하는 함수 table(employees$JOB_ID,employees$DEPARTMENT_ID) 3) xtabs(~기준,테이블) : 빈도수를 생성하는 함수(=table) xtabs(~JOB_ID,employees) +) x 공감수 0 댓글수 0 2022. 1. 25.
[R] 시각화 - 원그래프(pie) 양적자료 : 숫자, 크기로 측정되는 값 -연속형 자료 : 실수형, 키/몸무게 ... -이산형 자료 : 정수형, 여학생수/남학생수/출생아수 ... 질적자료(범주형) : 자료에 내포된 의미가 있는 데이터(이산형자료와 유사) -순위형 자료 : 학점(A,B,C...), 설문조사(좋다,보통,나쁘다) -명목형 자료(순서X) : 성별(여,남), 혈액형(A,B,AB,O), 거주지역 요약방법 자료정리 시각화(그래프) 양적 자료 수치, 표 도수분포표 합,평균,분산,표준편차,중앙값,최댓값,최솟값,범위 히스토그램 상자도표, 산점도 막대그래프 질적 자료 표 도수분포표 빈도표 상대빈도표 원,막대그래프 원그래프(pie chart) 범주형 자료에 대한 상대도수분포표를 나타내기 위해 일반적으로 사용되는 그래프 예) S회사에서 새로 개.. 공감수 0 댓글수 0 2022. 1. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.