본문 바로가기

서용이의 삶

(25)

[빅분기] 빅데이터 분석 기사 필기 요약/요점 정리 1. 빅데이터 분석 기획 1) 빅데이터의 이해 데이터의 유형 정성적 데이터(qualitative) : 언어, 문자 등 비정형 - 주관적 정량적 데이터(quantitative) : 수치, 도형, 기호 등 정형 - 객관적 데이터 유형(구조적 관점) 정형 : RDB, CSV, 스프레드시트 반정형 : 웹로그, 알람, XML, HTML, JSON, RSS 비정형 : 이미지, 오디오, 문자, NoSQL 데이터 기반 지식 구분 내면화 → 공통화 → 표출화 → 연결화 (암묵지) (형식지) DIKW피라미드 Data - Information - Knowledge - Wisdom 객관적사실 - 연관관계도출 - 일반화규칙 - 창의적아이디어 바이트 크기 K M G T P E Z Y 킬메기테페엑제요 빅데이터 특징 3V : Vol..

[빅데이터] 한국어 불용어 처리 stopword.txt 제 프로젝트에 사용했던 일반적인 한국어 불용어 리스트들을 공유합니다 :)

[머신러닝] 딥러닝 대표적인 오차 함수 종류와 비교 평균 제곱 계열 mean_squared_error 평균 제곱 오차 mean( square(실제값 - 예측값) ) mean_absolute_error 평균 절대 오차(실제값과 예측값 차이의 절댓값 평균) mean( abs(실제값 - 예측값) ) mean_absolute_percentage_error 평균 절대 백분율 오차(절댓값 오차를 절댓값으로 나눈 평균) mean( abs(실제값 - 예측값) / abs(실제값) ) mean_squared_logarithmic_error 평균 제곱 로그 오차 (실제값과 예측값에 로그를 적용한 값의 차이를 제곱한 값의 평균) mean( square( (log(예측값)+1) - (log(실제값)+1) ) ) 교차 엔트로피 계열 categorical_crossentropy 범..

[머신러닝] 딥러닝 경사 하강법 종류와 비교 경사 하강법 개요 효과 ex) keras 확률적 경사 하강법 (SGD) 랜덤하게 추출한 일부 데이터를 사용하여 더 빨리, 자주 업데이트를 하는 것 속도 개선 keras.optimizers.SGD(lr=0.1) 케라스 최적화 함수를 이용 모멘텀 (Momentum) 관성의 방향을 고려해 진동과 폭을 줄이는 효과 정확도 개선 keras.optimizers.SGD(lr=0.1, momentum=0.9) 모멘텀 계수 추가 네스테로프 모멘텀 (NAG) 모멘텀이 이동시킬 방향으로 미리 이동해서 그레이디언트를 계산, 불필요한 이동을 줄이는 효과 정확도 개선 keras.optimizers.SGD(lr=0.1, momentum=0.9, nesterov=True) 네스테로프 옵션 추가 아다그라드 (Adagrad) 변수의 업..

[머신러닝] 머신러닝 알고리즘 종류와 장점 단점 비교 알고리즘 장점 단점 k-최근접 이웃 (K-Nearest Neighbor, K-NN) - 구현이 쉽다 - 알고리즘을 이해하기 쉽다 - 하이퍼파라미터가 적다 - 예측 속도가 느리다 - 메모리를 많이 쓴다 - 노이즈 데이터에 예민하다 서포트 벡터 머신 (Support Vector Machine, SVM) - 상대적으로 적은 데이터로도 높은 정확도를 낸다 - 예측 속도가 빠르다 - 고차원 데이터를 처리하기가 쉽다 - 결정경계선이 많이 겹칠 때 정확도가 낮아진다 - 수학적 이해 없이는 모델의 분류 결과를 이해하기 어렵다 - 커널 트릭 오사용 시 과대적합되기 쉽다 의사결정트리 (Decision Tree) - 모델의 추론 과정을 시각화하기 쉽다 - 데이터에서 중요한 특성이 무엇인지 쉽게 알아낼 수 있다 - 학습 및 ..

[해커톤 후기] 에릭슨엘지 Girls in ICT 2020 해커톤 생각치도 못했던 해커톤 진출 및 우승!! 오늘은 해커톤 후기에 대한 포스팅을 작성해보려 합니다 :) 에릭슨엘지에서 주관한 Girls in ICT 2020 해커톤에 대한 후기 입니다. 2017년 부터 매년 진행되온 해커톤으로 총 10팀이 본선에 진출하며, 그 중 3팀이 수상하게 됩니다. 총 2일로 진행되며 원래 1박2일로 진행되는 행사이나 코로나19사태로 인해 2020 해커톤은 온라인으로 진행되었습니다. 첫째 날 일정은 주로 설명을 듣는 시간과 멘토링 & 해킹 시간이었습니다. 라즈베리파이와 GPIO, 센서들을 이용하는 방법에 대한 설명과, IoT 플랫폼인 Ubidots와 Node Red에 대한 설명을 들었습니다. www.ubidots.com IoT platform | Internet of Things | ..

[세계과자추천] 맥스 포테이토 크리스프 (Max Potato Crisp) 오늘 추천할 디저트는 세계과자점에서 쉽게 볼 수 있는 맥스 포테이토 크리스프 입니다! 세계과자점에 들어가면 온갖 여러 종류의 과자가 놓여져 있어서 무얼 고를지 고민할 때가 많은데요, 저는 이 과자가 보이면 꼭 한 개씩은 사오는 것 같아요 :) 요새는 편의점에서도 세계과자 종류를 팔더라구요~ 이건 집 근처 GS25에서 1,000원에 큰 한 봉지를 팔길래 바로 득템했습니다ㅎㅎ 큰 한 봉지에는 총 작은 봉지가 8개 들어있습니다. 작은 한 봉다리에는 손바닥 반 만한 크기의 과자가 3~4개 들어있습니다. 계산해보면 총 24~32개정도 되는 것 같습니다! 맛은 짭쪼름하고 달달한 맛있는 감자칩 맛입니다 :> 세계과자점이나 편의점에서 보신다면 한 개 사서 드셔보세요~ㅎㅎ

[Tip] WSL에서 Windows에 설치된 VScode 원격 사용하기 2020/09/28 - [IT공부] - [Tip] Windows에서 직접 실행할 수 있는 Linux Ubuntu , WSL [Tip] Windows에서 직접 실행할 수 있는 Linux Ubuntu , WSL WSL이란? Linux용 Windows 하위 시스템인 WSL을 사용하면 개발자가 기존 가상 머신의 오버헤드 또는 듀얼 부팅 설정 없이 대부분의 명령줄 도구, 유틸리티 및 애플리케이션을 비롯한 GNU/Linux 환경을 수 ahnsun98.tistory.com 저번에는 Windows에서 Ubuntu를 편리하게 사용할 수 있는 WSL을 설치하는 방법에 대해 알아보았습니다. 오늘은 WSL에서 윈도우에 깔린 vscode를 원격 연결하여 사용하는 방법에 대해 알아보겠습니다. WSL로 코딩을 하다가 vi를 사용하..

이전 1 2 3 4 다음

티스토리툴바