📘[AI] BERT 모델 데이터셋 오류 해결

어떤 오류였나?

현재 진행하는 프로젝트에서는 구글의 BERT 모델을 사용하고 있다.
BERT 모델은 구글에서 개발한 자연어 처리 과정과 학습이 되어있는 모델로, 챗봇과 같은 자연어 차리 프로그램에 좋을거 같아 사용했다.

이 모델을 사용할 때, 데이터셋은 csv파일을 사용한다.
데이터셋을 로드하는 과정에서 오류가 발생했다.

ParserError: Error tokenizing data. C error: Expected 4 fields in line 42, saw 8

이 오류는 “4개의 필드가 있어야 하는데 42번째 라인에는 필드가 8개가 확인되었다” 라는 의미의 오류이다.

해결법

먼저 내가 사용하는 csv파일은 데이터를 구분하는 구분 문자로 콤마(,)를 사용한다.
오류가 난 줄을 확인하니 (,)로 구분되는 필드가 8개였다.
데이터 안에 콤마가 필수적으로 들어가야하는 상황이라면 아래 방법으로 해결할 수 있다.

예를 들어 데이터 필드가 4개가 필요하다고 하고, 각 필드를 구분,유저,챗봇,이라고 하자.
데이터가 취미,취미로 즐기기 좋은 스포츠에는 뭐가 있어?,취미로 즐기기 좋은 스포츠는 축구, 농구, 배구 등이 있습니다. 와 같은 데이터라고 하자.
이 때, 콤마(,)가 여러 번 등장하게 되는데 이 데이터를 큰따옴표(““)로 묶으면 해결된다.
아래와 같이 해보자.

취미,"취미로 즐기기 좋은 스포츠에는 뭐가 있어?","취미로 즐기기 좋은 스포츠는 축구, 농구, 배구 등이 있습니다."