PART I 말 많은 컴퓨터: NLP의 기초
CHAPTER 1 사고의 단위: NLP의 개요
1.1 자연어 대 프로그래밍 언어
1.2 마법
1.2.1 대화하는 기계
1.2.2 수학
1.3 실제 응용들
1.4 컴퓨터의 ‘눈’으로 본 언어
1.4.1 자물쇠 언어
1.4.2 정규 표현식
1.4.3 간단한 챗봇
1.4.4 또 다른 방법
1.5 짧은 초공간 탐험
1.6 단어의 순서와 문법
1.7 챗봇의 자연어 처리 파이프라인
1.8 더 깊은 처리
1.9 자연어 IQ
요약
CHAPTER 2 나만의 어휘 구축: 단어 토큰화
2.1 어려운 문제: 어간 추출의 개요
2.2 토큰 생성기를 이용한 어휘 구축
2.2.1 내적
2.2.2 두 단어 모음의 중복 측정
2.2.3 토큰 개선
2.2.4 n-그램을 이용한 어휘 확장
2.2.5 어휘 정규화
2.3 감정 분석
2.3.1 VADER―규칙 기반 감정 분석기
2.3.2 단순 베이즈 모형
요약
CHAPTER 3 말 잘하는 수학: TF-IDF 벡터
3.1 단어 모음
3.2 벡터화
3.2.1 벡터 공간
3.3 지프의 법칙
3.4 주제 모형화
3.4.1 돌아온 지프
3.4.2 관련성 순위
3.4.3 주요 도구: scikit-learn
3.4.4 여러 TF-IDF 정규화 방법
3.4.5 Okapi BM25
3.4.6 다음 단계
요약
CHAPTER 4 단어 빈도에서 의미 찾기: 의미 분석
4.1 단어 빈도에서 주제 점수로
4.1.1 TF-IDF 벡터와 표제어 추출
4.1.2 주제 벡터
4.1.3 사고 실험
4.1.4 주제 점수를 매기는 알고리즘
4.1.5 LDA 분류기
4.2 잠재 의미 분석(LSA)
4.2.1 사고 실험의 실현
4.3 특잇값 분해
4.3.1 왼쪽 특이 벡터 행렬 U
4.3.2 특잇값 행렬 S
4.3.3 오른쪽 특이 벡터 행렬 VT
4.3.4 SVD 행렬의 방향
4.3.5 주제 절단
4.4 주성분 분석(PCA)
4.4.1 3차원 벡터에 대한 PCA
4.4.2 말을 떠나 다시 NLP로 돌아가서
4.4.3 PCA를 이용한 문자 메시지 잠재 의미 분석
4.4.4 절단된 SVD를 이용한 문자 메시지 잠재 의미 분석
4.4.5 스팸 분류에 대한 LSA의 정확도
4.5 잠재 디리클레 할당(LDiA)
4.5.1 LDiA의 기초
4.5.2 문자 메시지 말뭉치에 대한 LDiA 주제 모형
4.5.3 LDiA + LDA = 스팸 분류기
4.5.4 좀 더 공정한 비교: 주제가 32개인 LDiA
4.6 거리와 유사도
4.7 피드백에 기초한 방향 조정
4.7.1 선형 판별 분석(LDA)
4.8 주제 벡터의 위력
4.8.1 의미 기반 검색
4.8.2 개선안
요약
PART II 더 깊은 학습: 신경망 적용
CHAPTER 5 신경망 첫걸음: 퍼셉트론과 역전파
5.1 신경망의 구성요소
5.1.1 퍼셉트론
5.1.2 디지털 퍼셉트론
5.1.3 치우침 단위
5.1.4 오차 곡면을 누비며
5.1.5 경사로를 따라 활강
5.1.6 흔들어서 탈출
5.1.7 케라스: 신경망 파이썬 구현
5.1.8 더 깊게 배우고 싶다면
5.1.9 정규화: 스타일 있는 입력
요약
CHAPTER 6 단어 벡터를 이용한 추론: word2vec 활용
6.1 의미 기반 질의와 비유
6.1.1 비유 질문
6.2 단어 벡터
6.2.1 벡터 지향적 추론
6.2.2 word2vec의 단어 표현 계산
6.2.3 gensim.word2vec 모듈 사용법
6.2.4 나만의 단어 벡터 모형 만들기
6.2.5 word2vec 대 GloVe
6.2.6 fastText
6.2.7 word2vec 대 LSA
6.2.8 단어 관계의 시각화
6.2.9 인위적인 단어들
6.2.10 doc2vec을 이용한 문서 유사도 추정
요약
CHAPTER 7 단어 순서를 고려한 의미 분석: 합성곱 신경망
7.1 의미의 학습
7.2 도구 모음
7.3 합성곱 신경망
7.3.1 합성곱 신경망의 구조
7.3.2 단계 크기(보폭)
7.3.3 필터의 구성
7.3.4 여백 채우기
7.3.5 훈련(학습)
7.4 다시 텍스트로
7.4.1 케라스로 합성곱 신경망 구현: 자료 준비
7.4.2 합성곱 신경망의 구조
7.4.3 풀링
7.4.4 드롭아웃
7.4.5 마지막 층 추가
7.4.6 모형의 저장 및 시험
7.4.7 모형을 NLP 파이프라인에 도입
7.4.8 나머지 이야기
요약
CHAPTER 8 돌고 도는 신경망: 순환 신경망
8.1 과거를 아는 순환 신경망
8.1.1 시간에 대한 역전파
8.1.2 무엇을 언제 갱신하는가?
8.1.3 정리
8.1.4 항상 그렇듯이 함정이 있다
8.1.5 케라스를 이용한 순환 신경망 구현
8.2 모형의 컴파일
8.3 모형의 훈련
8.4 초매개변수 조율
8.5 예측
8.5.1 상태 유지
8.5.2 양방향 처리
8.5.3 순환층 출력의 의미
요약
CHAPTER 9 장단기 기억망(LSTM 망)을 이용한 기억 유지 개선
9.1 장단기 기억망(LSTM 망)
9.1.1 시간에 대한 역전파
9.1.2 예제 문장으로 모형을 시험
9.1.3 더러운 자료
9.1.4 다시 더러운 자료로 돌아가서
9.1.5 단어보다 글자가 쉽다
9.1.6 말문이 열린 신경망
9.1.7 구체적인 예제 하나
9.1.8 무엇을 말할 것인가?
9.1.9 다른 종류의 기억 수단
9.1.10 더 깊이 들어가서
요약
CHAPTER 10 순차열 대 순차열 모형과 주의 메커니즘
10.1 부호기-복호기 구조
10.1.1 생각 벡터의 복호화
10.1.2 비슷한 구조들
10.1.3 대화 생성을 위한 순차열 대 순차열 모형
10.1.4 LSTM 복습
10.2 순차열 대 순차열 NLP 파이프라인 구축
10.2.1 순차열 대 순차열 훈련을 위한 자료 집합 준비
10.2.2 케라스의 순차열 대 순차열 모형
10.2.3 순차열 부호기
10.2.4 생각 벡터 복호기
10.2.5 순차열 대 순차열 신경망 조립
10.3 순차열 대 순차열 신경망의 훈련
10.3.1 출력 순차열 생성
10.4 순차열 대 순차열 신경망을 이용한 챗봇 구축
10.4.1 훈련 자료 준비
10.4.2 문자 사전 구축
10.4.3 원핫 부호화 훈련 집합 생성
10.4.4 순차열 대 순차열 챗봇의 훈련
10.4.5 순차열 생성을 위한 모형 설정
10.4.6 순차열 생성(예측)
10.4.7 응답문 생성 및 출력
10.4.8 챗봇과 대화
10.5 개선안
10.5.1 버키팅을 이용한 학습 복잡도 감소
10.5.2 주의 메커니즘
10.6 순차열 대 순차열 신경망의 실제 용도
요약
PART III 응용: 실제 NLP 문제들
CHAPTER 11 정보 추출: 개체명 인식과 질의응답
11.1 개체명과 개체 관계
11.1.1 지식 베이스
11.1.2 정보 추출
11.2 정규 패턴
11.2.1 정규 표현식
11.2.2 기계 학습 특징 추출로서의 정보 추출
11.3 추출할 만한 정보
11.3.1 GPS 좌표 추출
11.3.2 날짜 추출
11.4 관계의 추출
11.4.1 품사 태깅
11.4.2 개체명 정규화
11.4.3 관계의 정규화와 추출
11.4.4 단어 패턴
11.4.5 분할
11.4.6 split(‘.!?’)만으로는 안 되는 이유
11.4.7 정규 표현식을 이용한 문장 분할
11.5 실제 용도
요약
CHAPTER 12 챗봇(대화 엔진) 만들기
12.1 대화 능력
12.1.1 현대적 접근 방식들
12.1.2 혼합형 접근 방식
12.2 패턴 부합 접근 방식
12.2.1 AIML을 이용한 패턴 부합 챗봇 구현
12.2.2 패턴 부합의 그래프 시각화
12.3 근거화
12.4 정보 검색
12.4.1 문맥 관리의 어려움
12.4.2 정보 검색 기반 챗봇 예제
12.4.3 Chatterbot 소개
12.5 생성 모형
12.5.1 NLPIA에 관한 대화
12.5.2 각 접근 방식의 장단점
12.6 사륜구동
12.6.1 챗봇 프레임워크 Will
12.7 설계 과정
12.8 요령과 편법
12.8.1 예측 가능한 답이 나올 질문을 던진다
12.8.2 동문서답
12.8.3 최후의 대비책은 검색
12.8.4 흥미 유지
12.8.5 인연 만들기
12.8.6 감정 담기
12.9 실제 응용 분야
요약
CHAPTER 13 규모 확장: 최적화, 병렬화, 일괄 처리
13.1 자료가 너무 많으면
13.2 NLP 알고리즘의 최적화
13.2.1 색인화
13.2.2 고급 색인화
13.2.3 Annoy를 이용한 고급 색인화
13.2.4 근사적 색인이 꼭 필요한가?
13.2.5 실숫값의 색인화: 이산화
13.3 상수 RAM 알고리즘
13.3.1 gensim
13.3.2 그래프 계산
13.4 NLP 계산 병렬화
13.4.1 GPU를 이용한 NLP 모형의 훈련
13.4.2 대여와 구매
13.4.3 GPU 대여 옵션들
13.4.4 TPU(텐서 처리 장치)
13.5 모형 훈련의 메모리 요구량 줄이기
13.6 TensorBoard를 이용한 모형 성능 평가
13.6.1 단어 내장 시각화
요약
APPENDIX A NLP 도구들
A.1 Anaconda3 설치
A.2 NLPIA 설치
A.3 IDE
A.4 우분투 패키지 관리자
A.5 맥 OS
A.5.1 Homebrew
A.5.2 기타 개발용 도구 설치
A.5.3 조율
A.6 Windows
A.6.1 VM 설정
A.7 NLPIA의 편의 기능
APPENDIX B 파이썬 즐기기와 정규 표현식
B.1 문자열 다루기
B.1.1 문자열 형식들: str과 bytes
B.1.2 파이썬 문자열 템플릿
B.2 파이썬의 매핑 자료 구조: dict와 OrderedDict
B.3 정규 표현식
B.3.1 |―OR 기호
B.3.2 ()―그룹 묶기
B.3.3 []―문자 부류
B.4 코딩 스타일
B.5 실력 쌓기
APPENDIX C 벡터와 행렬: 기초 선형대수
C.1 벡터
C.1.1 거리
APPENDIX D 기계 학습의 도구와 기법
D.1 자료 선택과 편향
D.2 얼마나 적합해야 적합된 것인가?
D.3 문제를 알면 반은 해결된 것이다
D.4 교차 검증
D.5 과대적합 방지
D.5.1 정칙화
D.5.2 드롭아웃
D.5.3 배치 정규화
D.6 불균형 훈련 집합
D.6.1 과다표집
D.6.2 과소표집
D.6.3 자료 증강
D.7 성능 측정
D.7.1 분류 모형의 성능 측정
D.7.2 회귀 모형의 성능 측정
D.8 전문가의 조언
APPENDIX E AWS GPU 설정
E.1 AWS 인스턴스 설정
E.1.1 비용 관리
APPENDIX F 지역 민감 해싱(LSH)
F.1 고차원 벡터는 어렵다
F.1.1 벡터 공간의 색인과 해시
F.1.2 고차원적 사고
F.2 고차원 색인화
F.2.1 지역 민감 해싱
F.2.2 근사 최근접 이웃 검색
F.3 ‘좋아요’ 예측
참고 자료
용어집
찾아보기
도서소개
저자소개
목차소개
