2020-08-12 회의록

[geunkim]

회의 내용

가짜뉴스 탐지 기능 블록 검토

• 내용이 구체적으로 정리되어야 하는데 현재 상태로는 중지하고 BERT 실험 진행상황에 따라 추가하는 것이 바람직함

BERT 기술 검토

• Transformer 란?

• Self-atteion 모델이란?

• "BERT는 문장의 문맥을 알 수 있다." 는 근거는?

• vocab은 BERT 사전학습의 결과이다.

• vocab 파일의 숫자의 의미?

• BERT 사전학습의 목적은?

• BERT 사전학습의 결과는 무엇인가?

• BERT 사전학습의 결과는 어떻게 사용되나?

• BERT가 두 문장의 주제가 같은지를 판단하는 방법은?

• BERT를 활용해서 가짜뉴스를 탐지할 때 학습 시켜야 하는 것은?

• KOBERT와 BERT의 차이점?

[BlockchainTechnologyRnDLab]

Transformer 란?

• 문장의 연결성이 중요한 sequence data를 읽을 때, RNN의 경우 가까운 단어끼리의 연관성을 높게 나타내는데 이를 해결하기 위한 모델이 LSTM임
• LSTM은 순차적으로 연산한다는 점에서 연산량이 너무 많아 학습 속도가 느림
• Transformer는 병렬처리가 가능하여 더 빠르고 넓게 해석할 수 있음

Self-attention 모델이란?

• 한 단어가 한 문장 안에서 어디에 집중하는지 계산함
• 각 단어에 대해서 Query/Key/Value 벡터를 생성함
• 입력 벡터에 대해서 세 개의 행렬을 각각 곱함으로써 만들어짐
• Query는 단어, Key는 다른 단어, Value는 Key와 같은 값을 가짐
• Query가 각각의 Key에 어느정도 연관성을 가지는지 계산함

"BERT는 문장의 문맥을 알 수 있다." 는 근거는?

• Transformer를 기반으로 한 BERT는 가까운 단어끼리의 상관관계 뿐만 아니라 양방향에 멀리 위치한 단어와의 관계성을 파악할 수 있음
• 사전학습 시, 마스킹된 token을 맞추어 내는 과정 수행하면서, 문맥을 파악하는 능력을 길러냄

vocab은 BERT 사전학습의 결과이다.

• tokenizer가 단어를 토큰화한 결과
• vocab에 맞게 단어를 토큰화하며, 새로운 단어가 있으면 vocab 파일에 추가시킴

vocab 파일의 숫자의 의미?

• 각 단어의 고유한 ID

BERT 사전학습의 목적은?

• 특수한 문제를 해결하기 위한 학습을 하기 전에 미리 일반적인 단어의 연관성을 학습시켜서 범용적으로 활용할 수 있는 모델을 미리 만들어 놓음

BERT 사전학습의 결과는 무엇인가?

• 단어와 단어 사이의 연관성이 학습되어 있는 상태

BERT 사전학습의 결과는 어떻게 사용되나?

• 언어에 대한 학습이 되어 있어 소규모의 학습 데이터로 학습시켜 모델을 개발할 수 있음

BERT가 두 문장의 주제가 같은지를 판단하는 방법은?

1. 각 문장을 BERT에 통과시켜 각각의 주제(중요 단어)를 뽑아내서 비교
2. 두 문장을 BERT에 통과시켜 두 문장이 같은 의미를 가지는지 비교

BERT를 활용해서 가짜뉴스를 탐지할 때 학습 시켜야 하는 것은?

1. 판단할 데이터
2. 라벨링(진짜/가짜 or 여러 단계의 라벨링)

KorBERT와 BERT의 차이점?

• BERT는 WordPiece를 사용하여 #으로 구분된 토큰을 입력으로 함
• KorBERT는 명사, 동사 등 형태소로 구분하는 토크나이저를 사용하여 토큰화하고 입력 뒤 단어와 형태소까지 학습됨