[자연어 처리_3] 개발 환경 구축하기 2 (부제: 아나콘다 라이브러리)

1. 아나콘다 설치 시 패키지 설치 상태

(1) 설치되는 패키지

Numpy, Pandas, Jupyter notebook, scikit-learn, matplotlib, seaborn, nltk 등은 이미 설치가 되어있다.

i) 넘파이(Numpy)란?

넘파이는 수치해석용 파이썬 패키지이다. 다차원의 배열 자료구조 클래스인 ndarray 클래스를 지원하며 벡터와 행렬을 사용하는 선형대수 계산에 주로 사용된다. C로 구현된 CPython에서만 사용할 수 있다.

 

ii) 판다스(Pandas)란?

판다스(Pandas)는 파이썬 데이터 처리를 위한 라이브러리이다. 파이썬을 이용한 데이터 분석과 같은 작업에서 필수 라이브러리로 알려져있다

 

iii) 주피터 노트북(Jupyter notebook)이란?

주피터 노트북이란 오픈소스 기반의 웹 플랫폼으로, 파이썬을 비롯한 다양한 프로그래밍 언어로 코드 작성 및 실행을 지원하는 개발환경을 의미한다. 단계적 코드실행이 가능하여 문서화/시각화/분석에 용이하다.

 

iv) 사이킷런(scikit-learn)이란?

파이썬 머신러닝 라이브러리이다. 사이킷런을 통해 나이브 베이즈 분류, 서포트 벡터 머신 등 다양한 머신 러닝 모듈을 불러올 수 있다. 또한, 사이킷런에는 머신러닝을 연습하기 위한 아이리스 데이터, 당뇨병 데이터 등 자체 데이터 또한 제공하고 있다.

 

v) 매트플롯라이브러리(matplotlib)

Python 프로그래밍 언어 및 수학적 확장 NumPy 라이브러리를 활용한 플로팅 라이브러리로써 데이터를 시각화할 수 있다.

 

vi) 씨본(seaborn)이란?

파이썬의 대표적인 시각화 도구로써 matplotlib과 대비하여 손쉽게 그래프를 그리고 그래프 스타일을 설정할 수 있다.

 

vii) nltk란?

자연어 처리를 위한 파이썬 패키지로써, 말뭉치, 토큰생성, 형태소 분석, 품사 태깅을 제공한다.

 

 

(2) 설치되지 않는 패키지

텐서플로우(Tensorflow), 케라스(Keras), 젠심(Gensim), 코엔엘파이(KoNLpy)와 같은 패키지들은 설치되어 있지 않다. 따라서 이들 패키지에 대한 간단한 설명과 설치 방법을 이하 설명하겠다. 

 

 

2. 텐서플로우(Tensorflow)

(1) 텐서플로우란?

구글이 2015년에 공개한 머신 러닝 오픈소스 라이브러리이다. 딥러닝 프로그램을 쉽게 구현할 수 있도록 다양한 기능을 제공해주는 라이브러리다. 브라우저에서 실행 가능한 시각화 도구인 텐서보드(TensorBoard)를 제공하여, 딥러닝 학습과정을 추적하는데 유용하게 사용된다.

 

(2) 설치 방법

1) 아나콘다 프롬프트(Anaconda Prompt) 또는 명령프롬프트(cmd)를 통해 설치

> pip install tensorflow

2) ipython shell을 실행하여 정상 설치 확인

i) ipython 설치 

cmd에 하단의 명령어를 입력한다.

pip install ipython

ii) 텐서플로우 임포트 및 버전 확인

a. cmd에 하단의 명령어를 입력한다.

> ipython
In [1]: import tensorflow as tf
In [2]: tf.__version__

b. 출력 화면

텐서플로우는 주로 tf라는 명칭으로 import함

▲ 이때 텐서플로우의 버전이 동일하지 않아도 상관 없음

 

iii) 쉘을 나올때는 'exit'을 입력하면 된다. 

 

▲ 이하 다른 패키지들도 동일한 방식으로 정상 설치 여부를 확인하면 됨

 

 

3. 케라스(Keras)

(1) Intro

1) 케라스란?

케라스(Keras)는 딥 러닝 프레임워크인 텐서플로우에 대한 추상화 된 API를 제공한다. 케라스는 백엔드로 텐서플로우를 사용하며, 좀 더 쉽게 딥 러닝을 사용할 수 있게 해준다. 쉽게 말해, 텐서플로우 코드를 훨씬 간단하게 작성할 수 있다.

2) 텐서플로우에서의 사용

설치 후 직접 사용할 수도 있지만 텐서플로우에서 사용할 수 있다. 영어 커뮤니티에서는 순수 케라스를 keras로 표기한다면 텐서플로우에서 API로 사용하는 경우에는 tf.keras라고 한다. 두가지는 실제로 문법도 많은 면에서 동일하여 keras 코드를 tf.keras로 변경하는 것은 쉽다. 

 

(2) 설치 방법

1) 아나콘다 프롬프트(Anaconda Prompt) 또는 명령프롬프트(cmd)를 통해 설치

pip install keras

2) 케라스 임포트 및 버전 확인

>ipython
In [1]: import keras
In [2]: keras.__version__
Out[2]: '2.3.1'

4. 젠심(Gensim)

(1) 젠심이란?

머신 러닝을 사용하여 토픽 모델링과 자연어 처리 등을 수행할 수 있게 해주는 오픈 소스 라이브러리이다

 

(2) 설치 방법

1) 아나콘다 프롬프트(Anaconda Prompt) 또는 명령프롬프트(cmd)를 통해 설치

pip install gensim

2) 젠심 임포트 및 버전 확인

> ipython
In [1]: import gensim
In [2]: gensim.__version__
Out[2]: '3.8.1'

5. 코엘엔파이(KoLNpy)

(1) 코엘엔파이란?

한국어 자연어 처리를 위한 형태소 분석기 패키지이다. 

 

(2) 설치 방법

1) 아나콘다 프롬프트(Anaconda Prompt) 또는 명령프롬프트(cmd)를 통해 설치

pip install konlpy

2) 전제 환경

KoNLPy는 JAVA로 구성되어 있는데, JDK관련 오류나 JPype 오류가 발생하는 경우 해결을 위해서 JDK 1.7 이상의 버전과 JPype가 설치되어 있어야 한다.

i) JDK 설치

 a. https://www.oracle.com/technetwork/java/javase/downloads/index.html

Download the Latest Java LTS Free

 b. 환경변수 설정

JDK가 설치된 경로(ex: C:\Program Files\Java\jdk-11.0.16.1) 를 환경변수 중 USER사용자 변수에  JAVA_HOME이라는 이름으로 추가해준다

 

ii)JPype 설치 

a. JPype이란?

JAVA와 Python을 역할해주는 역할을 하는 것으로서,  Python 에서 JVM 을 띄운 뒤, 서로 통신을 하는 라이브러리이다.

 

b. 설치 방법

- 설치 주소 : https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype

▲ cp27은 파이썬 2.7, cp36은 파이썬 3.6을 의미한다. 따라서 각자의 파이썬 버전 및 운영체제에 맞게 설치하면 된다.

 

- 커맨드 입력

cd (하단 파일 경로)
pip install JPype1‑0.6.3‑cp36‑cp36m‑win_amd64.whl