1.1 영문 PDF 문서

PyPDF2는 순수 파이썬 PDF 라이브러리로 PDF 파일 각 페이지를 쪼개고 병합하고 짤래내고 변환시킬 수 있는 기능을 제공하고 있다. pip install pypdf2 명령어를 통해서 설치를 한후에 확장자가 .pdf를 갖는 파일을 불러들일 수 있다. PDF 객체(read_pdf)를 만들고 나서 각 페이지내부에 포함된 텍스트를 추출한다.

from PyPDF2 import PdfFileReader

pdf_file = open('data/sample.pdf', 'rb')
read_pdf = PdfFileReader(pdf_file)

text = []
for i in range(0,read_pdf.getNumPages()-1):
    text.append(read_pdf.getPage(i).extractText())

print(r'불러온 PDF 파일: \n',text)

불러온 PDF 파일: \n [' A Simple PDF File  This is a small demonstration .pdf file -  just for use in the Virtual Mechanics tutorials. More text. And more  text. And more text. And more text. And more text.  And more text. And more text. And more text. And more text. And more  text. And more text. Boring, zzzzz. And more text. And more text. And  more text. And more text. And more text. And more text. And more text.  And more text. And more text.  And more text. And more text. And more text. And more text. And more  text. And more text. And more text. Even more. Continued on page 2 ...']

이를 함수로 작성하여 get_text_pdf()로 제작하여 PDF파일에 포함된 텍스트를 추출한다.

def get_text_pdf(pdf_filename):
    pdf_file = open(pdf_filename, 'rb')
    read_pdf = PdfFileReader(pdf_file)
    ## PDF 텍스트 결과
    pdf_text = []
    ## PDF 텍스트 추출
    for i in range(0, read_pdf.getNumPages()-1):
        pdf_text.append(read_pdf.getPage(i).extractText())
     # 개행문자 결합
    return '\n'.join(pdf_text)  

print(r'불러온 PDF 파일: \n', get_text_pdf('data/sample.pdf'))

불러온 PDF 파일: \n  A Simple PDF File  This is a small demonstration .pdf file -  just for use in the Virtual Mechanics tutorials. More text. And more  text. And more text. And more text. And more text.  And more text. And more text. And more text. And more text. And more  text. And more text. Boring, zzzzz. And more text. And more text. And  more text. And more text. And more text. And more text. And more text.  And more text. And more text.  And more text. And more text. And more text. And more text. And more  text. And more text. And more text. Even more. Continued on page 2 ...

1.2 한글 PDF 문서

• pdfminer
  • “CJK languages and vertical writing scripts support.”
  • 많은 기능중에 CJK 언어를 활용할 수 있다.
• PyMuPDF
• Tika, PDF파일에서 텍스트 내용 파싱: 자바 의존성을 갖고 있으며, pip install tika 명령어로 설치 후 사용, 느리다는 평가가 많음.

PyPDF를 사용하게 되면 CJK 언어로 된 .pdf 파일에서 한국어를 추출할 경우 제대로 추출이 되고 있지 않다.

pdf_file = open('data/hangul_sample.pdf', 'rb')
read_pdf = PdfFileReader(pdf_file)

PdfReadWarning: Xref table not zero-indexed. ID numbers for objects will be corrected. [pdf.py:1736]

text = []
for i in range(0,1):
    text.append(read_pdf.getPage(i).extractText())

print(r'불러온 PDF 파일: \n',text)

불러온 PDF 파일: \n ['˚r*¶\n/\'{*B%3 ˚k9®#Î\n, %VG¯˜¦\n AJG>Cƒ˜KG¯/Ö\n , Copyright 2013\n-2016\n  :r19û:  ƒ˜ˆ\n ˚r8ê  1.1 \n9®  1.2 \nGZ*² N)î.c  >~9Ê:f 1.3 \n  1.4 \n8Œ ?² R .r:Z &/Gû   \n \n 1.1 \n    524úC²9Œ\n *²/ÖCƒ\n  4ú4ú*²\n 3⁄$û9ı\n  524úC²9™*²\n, 9Ê\n  524úC²9Œ 9Ê"î\n &/-™˜R\n ˚o9Ê H®\n ˚WG®˜6\n 8&\n %VGÊ Gß&/G®,Æ\n :W9§G®$ê\n 9Ê%:\n.      ?² R   %:7çG² /Ú7Ò8& 9§8ÿ&n˜6\n 9Þ%:. Google\n, Apple Siri, \nIBM Watson, \nMicrosoft Cortana\n \'G9Œ  ƒ˜ˆG¯\n 8B\n %:7çG²\n &ˆ,ª9Î9®\n 9ı\n G®˜6 5::r -”:r9® 8&\n :W8ÿG®˜69Þ%:\n. Google\n9® GooLeNet\n9Œ .⁄ ,"9û9® /ÖCƒ\n >ò  :Û+®9® +Ò\n /Ú+®G®$ê\n -”:r8&3r\n 9Î˚Z 4n;V9® 3⁄$û9ı\n /J8V9™,Æ, Facebook\n9® DeepFac\ne$ê   9Î53G®$ê\n -”:r8&3r 9Î˚Z 4n;V9®\n 3⁄$û9ı /J8V%:. Microsoft\n8&3r ˚r.rG² \'{*B%39ı :W8ÿG²\n 9¢3⁄9Î53\n  ƒ4v9Œ\n 9¢3⁄9Î53\n -”:r9® 3˚*²\n &"Eb˜Â+Ò\n 8J8˚9™,Æ, Google \nDeepMind\n$ê 5::r )â>î*R\n 0ı\'j8z ˚â9Ú9ı\n G®$ê  ƒ4v9ı ˚r.rG®8V%:\n.      9ı /J%: Hk53HªG®8B\n :k9®G®,Ê\n fi(Environment)\n˜R9®  9ç8ÿ9ı 3r\n ?ë:W&n$ê H.:W9Î\n %Æ9ÊCƒ\n(Data)\n+Ò .jC+9™*²\n , ;ß ,þ%Î(Model)\n9ı 9æ&/9™*²\n ˜Â?ëG®˜6\n 4ú4ú*² 3⁄$û(Performance)\n9ı G®$ê 524úC²fl9Ê%:. 9Ê*²/ÖCƒ  ƒ˜ˆG¯\n 524úC²9Œ\n ˜V@w %Æ9ÊCƒ D*²/ÖCƒ\n 3⁄$û  P+Ò ?²:WHªG®$ê\n ,þ%Î M9ı 9æ&/9™*² ,"\'2$ê\n  ƒ4v9Ú9ı\n 7¢ 4n 9Þ%:. 9Ê \'¢, %Æ9ÊCƒ$ê\n 9®\n "€9Ú8˝$ê H”9ç8ÿ9ı\n 8B\n ?ë:W&r%:. FF9®\n  ˚V\n 7Ç9ı G¶4n*³\n %Æ9ÊCƒ˚V ?ë:W&n˜6 4úC²9Œ\n 9Ê+Ò 9Ê8ÿG®8B\n /J%: ˚r9ÎHª&r\n 4ú,˚\n 3r0ı4ú+Ò :r˜KG²%:. *²/]9® , $û&/:W9™*²\n H®\n 9ç8ÿ9ı\n G¾9™*²5¾\n %Æ9ÊCƒ+Ò\n 333⁄G® ƒ&ˆ\n G²%:.         524úC²9Ê ,"\'6 ,þ%Î9Œ %Æ9ÊCƒ8&\n %VG² 539ı\n FBG¾G®˜6 9Þ%:. \'ƒ)Ò3r\n  9æ&/9™*² 539ı\n .rG®$ê  ƒ4v*²&ˆ /R 4n 9Þ%:. 9Ê$ê %Æ9ÊCƒ,˚9Ê%3\n /Ú7Ò8&3r\n   ƒ4v9Ê ;g8êG²\n 9Ê9v9Ê%:\n. \n ˚r.r ˜V:f8&3r\n 33˚WG²%:,Ê,  ƒ˜ˆ\n %Æ9ÊCƒ*²/ÖCƒ\n GZ*² N)þ9ı\n 9æ&/9™*² 333⁄G®$ê\n  ƒ4v9Ê%:. 9Ê$ê 3âGZ\n GZ*² N)î,”9®\n *² 9ç3⁄G®%® GZ*² N)î.c\n 9®\n 3âGZ\n ˚r.r $ê\n %V:Æ:W9Ê,Æ\n HW56:W9Î\n %:\n. ?² R "ò\n 3⁄$û9ı /J9ʘ6 9Þ$ê ,”56*B%3\n 7¢˜6\n ;g G®"î9Î\n \'{*B%39®\n  0ł%Æ9ÊCƒ*²/ÖCƒ\n 9æ&/9™*²\n GZ*² N)î.c&r\n GZ*² N)þ9Ê\n   GZ*² N)î.cG²\n GZ*² N)þ9®  /J%: %ª :á9Œ 3⁄$û9ı  4n 9Þ9¢9ı /J8B;V%:. 9Ê$ê  539ı\n 9Z.ƒG®$ê\n ˚Ù9™*²3r\n 7´9™*² AJG>Cƒ 3⁄$û9Ê  :á7ı<˚ 4n*³, G¯\n %Æ9ÊCƒ9® 7ç9Ê ;ó˚VG¶\n 4n*³, 9Ê*BG² ?ê3”$ê\n ˜ˆ3ã&v\n ˚Ù9Ê%:\n.        ?² R9® \'{*B%3  ƒ4v9Œ  ƒ:Ê9®  ƒ˜ˆ\n ˚â\n %:+Î˚V? \'{*B%39Œ $"+Ò   ,þ%Î*², ,$9Œ 4n9® 9ı\n 5i9¢9™*²3r\n 9Û*{&r\n %Æ9ÊCƒ˚V\n 8B*B %>˜ˆ9®  ?ê?ò ˜R:k9ı\n ˚Æ?& 9æ&/9™*² ˜64n;V9®\n :W9Î\n  ?ê?òG®$ê\n 9Ê%:\n. (fG²,  ?ê?ò˜R  /Ú+®, &¦ %>˜ˆ*² "î\n %®\n  ƒ:Ê9® -”:r+Ò\n   -”:r*² G®8B\n G¯G®$ê\n, /J%: 9æ&/Hª&r   ƒ4v9Ê%:\n.  /K9÷G² %Æ9ÊCƒ+Ò\n 9Û*{9™*²\n  F²HZ9ı\n 9æ&/9™*²\n   \'¢-”8& Fã/ÖG² G¯9ÊCƒ˚V\n G®,Ê\n /J%: :á9Œ 3⁄$û9ı  4n 9Þ%:.         ']

extraction of text from pdf with pdfminer gives multiple copies 코드를 참조하여 pdfminer 라이브러리를 사용해서 한국어로된 PDF 파일에서 한글을 잘 추출할 수 있는 방법도 있음이 확인되었다.

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage
from io import StringIO

def convert_pdf_to_txt(path):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
    fp = open(path, 'rb')
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    password = ""
    maxpages = 0
    caching = True
    pagenos=set()
    
    for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages, password=password,caching=caching, check_extractable=True):
        interpreter.process_page(page)
        text = retstr.getvalue()

    fp.close()
    device.close()
    retstr.close()
    return text
    
extracted_text = convert_pdf_to_txt('data/hangul_sample.pdf')
print(extracted_text)

기계학습개론/딥러닝 강의노트, 서울대학교 컴퓨터공학부 장병탁, Copyright 2013-2016 
 
제 1 장: 기계학습 개요 
 
1.1 기계학습의 특성 
1.2 프로그래밍 방식과의 차이점 
1.3 산업적 응용사례 
1.4 역사와 최근 발전 동향  
 
 
 
1.1 기계학습의 특성 
 

학습 시스템은 경험으로부터 학습하여 스스로 성능을 향상하는 시스템으로, 이상적인 학습 

시스템은 사람이나 동물과 같이 환경을 지각하고 환경에 대해 행동하며 적응하는 생명체이다.  
    최근  들어  기계학습이  다양한  분야에  응용되고  있다.  Google,  Apple  Siri,  IBM  Watson, 
Microsoft  Cortana  등은  기계학습을  사용하여  다양한  도메인의  지식을  습득하고  실제 
문제의  해결에  적용하고있다.  Google 의  GooLeNet 은  백  만장의  이미지로부터  천  가지 
종류의 물체를 분류하는 문제에서 인간 수준의 성능을 보였으며, Facebook 의 DeepFace 는 
사람의  얼굴을  인식하는  문제에서  인간  수준의  성능을  보였다.  Microsoft 에서  개발한 
딥러닝을  적용한  음성인식  기술은  음성인식  문제의  새로운  돌파구를  열었으며,  Google 
DeepMind 는 실제 사람처럼 비디오 게임을 학습하는 기술을 개발하였다. 
     기계학습을  보다  형식화하여  정의하면  “환경(Environment)과의  상호  작용을  통해서 
축적되는  경험적인  데이터(Data)를  바탕으로  지식,  즉  모델(Model)을  자동으로  구축하고 
스스로  성능(Performance)을  향상하는  시스템”이다.  이로부터  기계학습  시스템은  관측 
데이터 D 로부터 성능 지수 P 를 최적화하는 모델 M 을 자동으로 만드는 기술임을 알 수 있다. 
이 때, 데이터는 환경과의 끊임없는 상호작용을 통하여 축적된다. 스마트폰의 경우 사용자가 
앱을  사용할수록  데이터가  축적되고  학습시스템은  이를  이용하여  보다  개인화된  스마트 
서비스를  제공한다.  로봇의  경우,  능동적으로  환경과  상호작용을  함으로써  데이터를 
생성하기도 한다.  
      학습  시스템이  만든  모델은  데이터에  대한  지식을  포함하고  있다.  따라서  기계학습은 
자동으로  지식을  발견하는  기술로도  볼  수  있다.  이는  데이터마이닝  분야에서  기계학습 
기술이  중요한  이유이다.  소프트웨어  개발  관점에서  생각한다면,  기계학습은  데이터로부터 
프로그램을 자동으로 생성하는 기술이다. 이는 소프트웨어를 프로그래머의 논리로 작성하던 
프로그래밍  방식의  소프트웨어  개발  방법과는  대조적이며  혁신적인  방식이다.  최근  뛰어난 
성능을 보이고 있는 머신러닝 알고리즘 중 하나인 딥러닝의 결과는 빅데이터로부터 자동으로 
프로그래밍된  프로그램이  사람이  직접  프로그래밍한  프로그램의  결과  보다  더  좋은  성능을 
낼  수  있음을  보여준다.  이는  지금까지의  상식을  위배하는  것으로서  앞으로  컴퓨터  성능이 
더욱 좋아질 수록, 학습할 데이터의 양이 증가할 수록, 이러한 추세는 계속될 것이다.   
     최근의  딥러닝  기술은  기존의  기계학습과  어떻게  다른가?  딥러닝은  뇌를  모사한  학습 
모델로, 많은 수의 신경층을 쌓음으로서 입력된 데이터가 여러 단계의 특징 추출 과정을 거쳐 
자동으로  고수준의  추상적인  지식을  추출하는  방식이다.  또한,  특징  추출과  특징  분류,  두 
단계로  나뉘어  학습하던  기존의  문제를  특징  학습의  문제로  통합하여  학습하는,  보다 
자동화된  학습  기술이다.  특히  복잡한  데이터를  입력으로  주어도  표현을  자동으로  학습해 
내기 때문에 풍부한 학습데이터가 존재하면 보다 좋은 성능을 낼 수 있다.   
 
 
 
 
 
 

표 1: 학습시스템과 기계학습의 정의 

•  학습  시스템:  환경과의  상호작용으로부터  획득한  경험적인  데이터를  바탕으로 

지식을 자동으로 습득하여 스스로 성능을 향상하는 시스템  

•  기계학습: 인공적인 학습 시스템을 연구하는 과학과 기술. 즉, 경험적인 데이터를 

바탕으로 지식을 자동으로 습득하여 스스로 성능을 향상하는 기술  

o  데이터를 기반으로 모델을 자동으로 생성하는 기술 
o  실세계의 복잡한 데이터로부터 규칙과 패턴을 발견하여 미래를 예측하는 

기술 

o  입출력 데이터로부터 프로그램을 자동으로 생성하는 기술 

 

 
1.2 프로그래밍 방식과의 차이점 

 
그림 1: Human Programming 과 Automatic Programming 의 차이점 

소프트웨어  관점에서  일반적인  컴퓨터  프로그램과  기계학습  프로그램은  분명한  차이가 
있다.  이를  살펴보기  위해서  학습  시스템이  “환경”,  “데이터”,  “성능”의  구성요소로  되어 
있다는  것에  주목하자.  “환경”은  학습  시스템이  독립적으로  존재하는  것이  아니라  서로 
상호작용하는 대상이 있음을 의미하며, 상호작용의 방법에 따라 경험하는 “데이터”의 형태가 
다르다.  이것은  보통의  컴퓨터  프로그램이  이미  프로그램이  작성될  때  모든  가능한  입력을 
고려하여  그  경우만을  다루도록  설계되는  것과  구별된다.  학습  시스템은  문제해결을  위한 
수행  시스템과  연결되며  시간의  경과에  따라서  수행의  “성능”이  향상되는  특징을  지닌다. 
예를 들어, 사용자가 이메일을 사용하는 패턴을 분석하여 자동으로 스팸메일을 차단해 주는 
스팸  필터  학습  시스템을  생각해  보자.  이  경우  스팸필터가  “시스템”이  되며  사용자는 
“환경”이고  “데이터”는  메시지들과  이에  대한  사용자  행동의  관측값들로  구성된다.  여기서 
“성능”은  제시해  준  메시지  개수와  비교하여  사용자가  읽은  메시지의  개수,  즉  얼마나 
효과적으로 메일을 여과해 주는지로 측정된다.  
     기계학습이  왜 중요한가? 기계학습은 문제 해결을 위한  명시적인 지식이  존재하지  않는 
경우에  적용  가능하기  때문이다.  프로그래밍  방식으로  문제를  해결하기  위해서는  명시적인 
지식을  숙지한  프로그래머에  의해  문제의  해결이  구현  될  수  있어야  하기  때문에,  문제를 
풀기 위한 명시적 지식이 반드시 필요하다. 반면, 기계학습은 주어진 데이터를 토대로 환경과 
상호작용하여  직접  학습을  하기  때문에,  명시적인  지식이  존재하지  않는  경우에도  활용 
가능하다. 기계학습이 유용한 또 다른 예는 사람이 문제 해결  방법을 프로그래밍 하는  것이 
어려운  경우이다.  예를  들어,  음성  인식  절차를  사람이  직접  구현하는  것은  실제적으로 
불가능하다. 또한 환경이 지속적으로 변화하는 문제의 경우 또한 기계학습 적용이 필요하다. 
환경의  변화에  따라  프로그램은  유연한  응답을  도출해야하기  때문이다.  다양한  상황에서 
다양한 행동을 행해야 하는 자율 이동 로봇이 이에 속한다.  

     그렇다면  왜  최근  기계학습의  중요성이  대두되는가?  주된  이유는  IT  환경의  변화 
때문으로  보여지며,  세부적으로는  크게  네가지  요인을  들  수  있다.  첫번째  요인은 
빅데이터이다.  기계학습이  효과적이기  위해서는  많은  양의  학습  데이터가  필요하다.  최근 
모든  정보의  디지털화를  통해  빅데이터가  확보되었으며,  기계학습은  빅데이터를  활용하여 
성능을 향상할 수 있는 좋은 방법이다. 둘째, 컴퓨팅 성능의 향상이다. 기계학습 알고리즘은 
일반적으로 많은 계산 시간을 필요로 하는데, 최근  하드웨어 발달을 통해 수행 시간이 매우 
단축되었다. 셋째, 다양한 서비스로의 직접적인 연결이 가능하는 점이다. 최근 모바일 기기가 
널리  보급됨으로서  사용자의  데이터를  실시간에  수집하는  것이  가능해졌고,  해당  데이터를 
학습함으로써  다양한  서비스를  소비자에게  직접  제공할  수  있다.  마지막으로  기계학습이 
중요한  이유는,  무엇보다도  기업체  관점에서  직접적인  비즈니스  가치를  창출할  수  있다는 
것이다. Google, Facebook, eBay, Amazon 등 많은 인터넷 기업은 광고 혹은 추천 서비스에 
의존적인  서비스를  제공한다.  편리하고  정확한  서비스를  위해서는  사용자의  관심  혹은 
선호도를  파악하여  활용하는것이  중요하며,  기계학습은  사용자의  인터넷  활동  및  로그 
데이터를 기반으로 숨겨진 의도를 파악할 수 있는 핵심 기술이다. 
 
 1.3 산업적 응용사례 
 

기계학습은  다양한  분야에  산업적으로  활용되고  있다.  1992 년,  카네기멜론  대학교와 
메르세데스 벤츠에서는 신경망 구조를 이용하여 자동차를 자동 운전하는 기술을 개발하였고, 
100km 이상의 속도로 고속도로를 장기 주행하는것에 성공하였다. 이 때, 해당 자동차에 전면 
카메라를  설치하여  수집한  전면  영상을  입력으로,  운전대와  가속  페달  및  브레이크  페달에 
센서를  장착하여  수집한  센서  데이터를  출력으로  알고리즘을  구현하였다.  이러한  초기 
기술은  2005 년,  미국  국방연구지원소에서  개최한  무인  자동차  경주대회에서  우승한 
스탠포드 대학, 2009 년에 구글이 발표한 무인자동차에 활용되었다.  
     IBM 이  개발한  인공지능  퀴즈머신  Watson  도  기계학습  기술을  활용한  대표적인  예  중 
하나이다.  Watson 은  Jeopardy 라는  TV  퀴즈쇼에  출연하여  역대  인간  챔피언과  대결하여 
우승하였다.  이를  위해  Watson 은  Wikepedia  등  웹에  존재하는  대규모의  문서를  모아 
백과사전적 지식을 자동 구축하였다.  
    기계학습은  그  외에도  다양한  분야에  활용되고  있다(표  2).  하기  표와  같이  기계학습은 
음성인식,  컴퓨터비젼,  로보틱스,  자연언어처리,  컴퓨터그래픽,  HCI,  인터넷  정보검색, 
텍스트  마이닝,  생물정보학,  바이오메트릭스,  통신사업,  서비스업,  제조업  등  거의  모든 
분야에서 활용되는 핵심 기반 기술이다. 인터넷 쇼핑몰 운영자는 고객에게 개인화된 양질의 
서비스를  제공하고,  보다  효율적인  마케팅  전략을  세우기  위해  웹  로그  파일을 
데이터마이닝하기  위한  기계학습  기술을  이용한다.  컴퓨터그래픽  연구자는  모션  캡쳐 
데이터를  기계학습하여  사람처럼  자연스러운  동작을  재현하는  애니메이션  모델을  자동 
생성한다.  생명과학  연구자는  DNA  칩을  이용한  유전자  발현  데이터로부터  암에  관련되는 
질병에  직접적인  영향을  주는  유전자를  찾아내기  위해  기계학습  기반의  지식  발굴  기술을 
사용한다. HCI 연구자는 모바일 환경에서 휴대기기를 편리하게 조작하기 위해서 다양한 센서 
정보에 기반, 기기의 움직임을 인식하기위해 기계학습 알고리즘을 사용한다.  

 
그림 2: 기계학습의 산업적 응용사례, 스탠포드 대학의 Stanley (좌), IBM 의 Watson(우) 

http://edition.cnn.com/2011/TECH/innovation/02/14/jeopardy.ibm.watson/ 

https://cs.stanford.edu/group/roadrunner/stanley.html 

 

 

 

표 2: 기계학습의 다양한 활용 분야 

•  데이터마이닝, 정보검색, 텍스트마이닝, 웹마이닝, 빅데이터 
•  비즈니스 분석, 전자상거래, 신용카드 도용 검출 
•  컴퓨터비전, 물체인식, 물체추적, 네비게이션  
•  로보틱스, 휴머노이드 로봇, 모바일 로봇, 무인 자동차  
•  컴퓨터그래픽스, 데이터기반 애니메이션 
•  바이오인포매틱스, 의약학, 재정공학 

 

  

1.4 역사와 최근 발전 동향 
 

기계학습이라는 용어가 처음 문헌에 등장한 것은 1959 년 Samuel 의 논문“Some Studies 
in Machine Learning  Using the Game of Checkers” 이다[1]. 그는 게임보드의 패턴으로 
정의된  특징과  가중치의  곱의  합으로  평가함수를  정의하고  가중치를  변경함으로써  게임을 
학습하는  방법을  제안하였다.  또한  비슷한  시기에  Rosenblatt 은  신경망  모델의  일종인 
퍼셉트론과  그  학습  알고리즘을  제시하였다.  1975 년에  Winston 은  건축물의  아치모양을 
예로 학습하는 기호적인 개념 학습 프로그램을 개발하였다[2]. 이러한 태동기의 아이디어에 
기반하여 기계학습이 하나의 새로운 연구 분야로 자리잡기 시작한 것은 1980 년대 중반이다. 
1983 년과 1986 년에 Machine Learning: An Artificial Intelligence Approach 의 Volume 
I 과  II 가  발간되어  기계학습  연구의  기반이  마련되었다[3,4].  1984 년에  Valiant 는 
Communications of the ACM 에 “A Theory of the Learnable”이란 제목의 계산학습이론 
(Computational Learning Theory) 논문을 발표하면서 기계학습이 계산이론과 접목되었고,  
이론적인  틀을  갖추기  시작하였다.  1986 년에는  Rumelhart  &  McClleland 의  Parallel 
Distributed Processing  모델에  관한 연구 결과가  두 권의  책으로 정리되어  발표되면서[5] 
신경망기반의 연결론적 기계학습 연구가 시작되었다. 
     다른 한편, 1980 년대 중반부터 Uncertainty in Artificial Intelligence(UAI)나 Artificial 
Intelligence  and  Statistics(AI  &  Stats)  등의  학술대회를  통해서  통계학과  인공지능이 
결합되는 시도가 일어나고, 1988 년 Pearl 의 Bayesian Belief Network 연구, Lauritzen 과 
Spiegelhalter  및  Jensen  등의  Graphical  Model  연구,  1994 년  Neal 의  Belief  Network 
연구, 1997 년 Hinton 의 Helmholtz Machine 연구, 1995 년 Vapnik 의 Statistical Learning 
Theory,  1999 년  Schoelkopf 의  Kernel  Machine  등을  통해서  기계학습에  대한  수학적, 
확률  통계학적인  기반이  마련되었고,  기계학습은  엄밀한  학문  및  기술  분야로  정립되기 
시작했다.  1990 년대  중반  이후  웹이  등장하고  인터넷이  보급되면서  정보검색과 
데이터마이닝이  새로운  산업으로  등장하였고,  기계학습은  그  핵심  기술로  자리매김하게 
되었다.  
     2000 년대  들어  기계학습은  공고한  연구분야로서  틀을  갖추기  시작하며  2001 년에는 
새로운  저널  Journal  of  Machine  Learning  Research 가  창간된다.  특히  기존  다층신경망 
보다  빠르고  정규화에  의해  정확도도  개선된  SVM 이  다양한  분야에  응용되기  시작하며 
기계학습이  산업화하기  시작하였다.  또한  다수의  교과서가  등장하였다.  MacKay  (2003), 
Thrun  et  al.  (2005),  Bishop  (2006),  Haykin  (2008),  Koller  (2009)  등이  그  예이다. 
2010 년과  2011 년에는  기계학습  연구자인 Valiant 와  Pearl 이  각각  Turing  상을  받기도 
하였다. 

기계학습의  산업화에  불씨를  제공한  것은  아마도  2005 년에  개최된  DARPA  무인자동차 
경주대회일  것이다.  이는  2007 년의  Urban  Challenge 와  2009 년의  Google  Car  발표, 
2012 년의 Robotics Challenge 로 이어져 자동차와 로보틱스 분야에서 기계학습의 산업화의 
계기가  되었다.    2009 년에는  Apple  Siri 의  비서에이전트가  등장하여  인공지능이 
일상생활에  들어오게  되었으며  스마트폰에서  기계학습  기술이  활용되는  산업화의  길을 
열었다.  2011 년 IBM 은 기계학습 기술을 이용한 Watson 퀴즈 머신 개발하고 이를 이용한 
스마트 어드바이저의 사업화를 추진하고 있다.  
     2011 년,  딥러닝  기술이  음성인식  분야에서  세계  신기록을  세우면서  SVM 을  대치하는 
새로운 기계학습 기술로 떠 올랐다. 딥러닝은 2012 년, 대규모의 이미지넷 데이터를 기반으로 
한  물체인식  대회에서  기존의  기계학습  방법의  성능을  압도적으로  뛰어넘는  기록을  세우며 
우승하였다.  2013 년에는  딥러닝  기반의  DeepFace 기술로  인간수준의  얼굴인식  성능을 

보이기도  하였다.  최근에는  Amazon  Echo,  IBM  CogniToys,  SoftBank  Pepper,  MIT  Jibo 
등의 스마트머신이 출현하고 있다. 기계학습 기술은 이들 스마트머신이 환경과 상호작용하는 
경험을 통해 상황 기반의 지능 서비스를 제공하는데 활용될 것으로 예견된다. 
 
 
잠재기  
1943: McClloch & Pitt’s Neuron 
1949: Hebbian learning (Hebb) 
1958: Perceptron (Rosenblatt) 
1959: Checkers’ Player (Samuel) 
1960: Delta rule (Widrow & Hoff) 
1961: Lernmatrix (Steinbuch) 
1965: Learning machines (Nilsson) 
1967: Outstar learning (Grossberg) 
1969: Perceptron book (Minsky & Papert) 
1972: Associative memory neural nets (Kohonen) 
1973: Pattern classification and scene analysis (Duda & Hart) 
1975: Symbolic concept learning (Winston) 
1977: Associative memory nets (Anderson) 
1977: Actor-critic model (Witten) 
 
태동기  
1981: Parallel models of associative memory (Hinton & Anderson, Eds.) 
1982: Self-organizing maps (Kohonen) 
1982: Hopfield networks (Hopfield) 
1983: Boltzmann machine (Hinton & Sejnowski) 
1983: Machine learning workshop and book (Carbonell & Mitchell, Eds.) 
1983: Actor-critic model (Barto, Sutton, Anderson) 
1984: PAC computational learning theory (Valiant) 
1985: Adaptive resonance theory (Carpenter & Grossberg) 
1986: Parallel distributed processing PDP (Rumelhart & McClleland) 
1986: Backpropagation algorithm (Rumelhart, Hinton, & Williams) 
1986: Machine learning (journal) 
1986: Decision trees (Quinlan) 
1987: Neural network conferences (ICNN, INNS, NIPS) 
1988: Bayesian networks (Lauritzen & Spiegelhalter, Pearl) 
1989: Q-learning (Watkins) 
 
성장기  
1992: TD-Gammon (Tesauro) 
1992: Support vector machines (Boser, Guyon, & Vapnik) 
1994: Learning Bayesian networks (Hackerman) 
1995: Statistical learning theory (Vapnik) 
1995: Neural networks for pattern recognition (Bishop) 
1997: Machine learning textbook (Mitchell) 
1998: Neural networks (Haykin) 
1998: Reinforcement learning (Sutton & Barto) 
1999: Learning in graphical models (Jordan) 
1999: Kernel machines (Schoelkopf & Smolar) 
2001: Journal of machine learning research (JMLR) 
2003: Boosting algorithms (Freund) 
2003: Information theory, inference, and learning algorithms (MacKay) 
 

 
발전기  
2005: DARPA grand challenge (Thrun) 
2005: Probabilistic robotics (Thrun, Burgard, & Fox) 
2006: Deep neural networks (Hinton) 
2006: Pattern recognition and machine learning (Bishop) 
2008: Neural networks and learning machines (Haykin) 
2009: Probabilistic graphical models (Koller) 
2009: Siri personal assistant (Apple) 
2009: Google car (Thrun) 
2010: Turing award in learning theory (Valiant) 
2011: Watson AI supercomputer (IBM) 
2011: Turing award in Bayesian networks (Pearl) 
2012: DNNresearch deep learning (Hinton & Google) 
2012: Large-scale image retrieval (Google) 
2013: Human brain project HBP (EU) 
2013: Artificial Intelligence Labs (FaceBook) 
2014: Institute for Deep Learning (Baidu) 

http://mashandiz.blogspot.kr/2015/04/the-most-important-topics-in-machine.html 

 
https://signalprocessingsociety.org/get-involved/speech-and-language-processing/newsletter/brief-review-nips-2015 
그림 3: 기계학습의 최근 발전 동향, 기계학습 관련 기사 증가 그래프(좌), 기계학습 관련 
분야 권위적인 학회인 Advanced Neural Information Processing Systems 의 증가 그래프 (우) 

 

 

역사적으로  인공지능  연구자뿐만  아니라  계산이론,  확률통계학,  통계물리학  연구자들에 
의해서  기계학습은  발전되어왔다.  특히,  딥러닝을  통해서  신경망에  대한  관심이  다시 
늘어남에  따라  최근  뇌과학,  인지과학,  로보틱스  연구자들이  기계학습  연구에  관심을  갖기 
시작하였다.  이는  특히  인간수준의  기계지능을  실현하고자  하는  인공지능  연구  관점에서 
매우 고무적인 일이다. 뇌에서의 학습과 기억에 관한 새로운 발견을 현재의 기계학습 기술을 
이용하여  모델링함으로써  새로운  인지신경과학적인  발견을  이룰  수  있으며,  이러한  모델링 
연구는  컴퓨터과학자로  하여금  인간의  학습을  닮은  기계학습  모델을  개발할  수  있게  하는 
통찰력을 제시해 준다. 컴퓨터과학자들은 인공적인 시스템 구현을 통한 효율적 문제 해결과 
그  산업적  응용을  개발한다.  수학,  통계학자들은  형식적인  문제  정의,  특성  분석,  계산학적 
해결 알고리즘을 연구한다. 인지과학자와 계산신경과학자들은 인간의 기억과 학습, 장기기억, 
단기기억, 언어 능력, 지각 능력, 의사 결정, 행동 학습을 모델링하는데 계산학적 학습 모델을 
활용한다.  로보틱스는  인간을  닮은  지능과  학습  능력을  가진  기계를  구현함으로써 

뇌인지과학적  모델을  검증하고  실용적인  시스템을  개발한다.  이렇듯  기계학습은  다  학제간 
융합 연구 분야로 여겨진다.