역전파 - 위키백과, 우리 모두의 백과사전

이 문서의 내용은 출처가 분명하지 않습니다.
이 문서를 편집하여, 신뢰할 수 있는 출처를 표기해 주세요. 검증되지 않은 내용은 삭제될 수도 있습니다. 내용에 대한 의견은 토론 문서에서 나누어 주세요. (2013년 6월)

기계 학습과 데이터 마이닝

패러다임 지도 학습 비지도 학습 온라인 기계 학습 메타-학습 준지도 학습 자기 지도 학습 강화 학습 규칙 기반 기계 학습 뉴로모픽 엔지니어링 양자 기계 학습
문제 분류 생성 모델 회귀 분석 클러스터 분석 차원 축 이상 탐지 데이터 정제 AutoML 연관 규칙 학습 구조 기반 예측 특징 공학 특징 학습 순위 학습 문법 유도 온톨로지 학습 멀티모덜 학습
지도 학습 (통계적 분류 • 회귀 분석) 결정 트리 학습법 앙상블 학습법 배깅 부스팅 랜덤 포레스트 최근접 이웃 탐색 k-NN 선형 회귀 나이브 베이즈 인공신경망 로지스틱 회귀 퍼셉트론 상관 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터 분석 BIRCH CURE 알고리즘 계층적 군집화 k-평균 알고리즘 퍼지 클러스터링 기댓값 최대화 알고리즘 DBSCAN OPTICS 평균이동
차원 축소 인자 분석 CCA 독립 성분 분석 선형 판별 분석 음수 미포함 행렬 분해 주성분 분석 t-SNE
구조화 예측 그래프 모형 베이즈 네트워크 조건부 무작위장 은닉 마르코프 모형 잠재 디리클레 할당
이상 탐지 무작위 표본 합의 k-최근접 이웃 알고리즘 국소 특이점 요인 고립 포레스트
인공 신경망 오토인코더 딥 러닝 순방향 신경망 순환 신경망 LSTM GRU 볼츠만 머신 제한된 생성적 적대 신경망 확산 모델 자기조직화 지도 합성곱 신경망 LeNet 알렉스넷 딥드림 신경 방사장 트랜스포머 비전 맘바 스파이킹 신경망 멤트렌지스터 전기화학 RAM 다층 퍼셉트론
강화 학습 Q 러닝 SARSA 시간차 학습
인간 참여학습 액티브 러닝 크라우드소싱 휴먼인더루프 RLHF
모델 진단 결정계수 혼동 행렬 러닝 커브 수신자 조작 특성
이론 커널 메소드 편향-분산 트레이드오프 계산학습이론 경험적 위험 최소화 PAC 러닝 통계적 학습이론 VC 이론
회의/저널 NeurIPS ICML ICLR ML JMLR
관련 문서 기계 학습 알고리즘 목록 기계 탈학습 지식 증류 유사도 학습 대조 학습
v t e

역전파(逆傳播), 오차 역전파법(영어: Backpropagation 백프로퍼게이션^[*]) 또는 오류 역전파 알고리즘은 다층 퍼셉트론 학습에 사용되는 통계적 기법을 의미한다.

기계 학습에서 사용되는 학습 구조로 다층 퍼셉트론이 있다. 일반적인 다층 퍼셉트론의 형태는 입력층 - 은닉층 - 은닉층 - ... - 출력층으로 구성되며, 각 층은 서로 교차되는 가중치 값으로 연결되어 있다. 출력층에서 제시한 값이 실제 원하는 값에 가까워지도록 학습하기 위해 통계적 방법에 의한 오차역전법을 사용한다.

오차역전법은 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치를 조정하는 방법으로 사용되며, 속도는 느리지만 안정적인 결과를 얻을 수 있는 장점이 있어 기계 학습에 널리 사용되고 있다.

역사

[편집]

역전파는 1960년대 초반부터 연구가 진행되었고^[1], 1970년대에는 컴퓨터에서 실행시킬 수 있도록 구현되었다.^[2]

같이 보기

[편집]

각주

[편집]

↑ Schmidhuber, Jürgen (2015년 1월 1일). “Deep learning in neural networks: An overview”. 《Neural Networks》 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637.
↑ Griewank, Andreas (2012). Who Invented the Reverse Mode of Differentiation?. Optimization Stories, Documenta Matematica, Extra Volume ISMP (2012), 389-400.

이 글은 통계학에 관한 토막글입니다. 여러분의 지식으로 알차게 문서를 완성해 갑시다.