워크북 번역 오류는 두 모델이 동의할 때만 결함으로 봅니다

워크북 한 단원에는 우리말 문장이 수백 개 들어갑니다. 어휘 빈칸의 해석 줄, 문법 변환의 우리말 문장, 직독직해의 청크 번역, 영작의 제시문. 씨뮬 고1 8단원이면 수천 개입니다. 사람이 전부 읽는 것은 불가능해서 기계 검수를 붙였는데, 여기에 원칙이 하나 있습니다.

한 모델의 판단은 믿지 않습니다

번역 오류 판정은 모델마다 편차가 큽니다. 어떤 모델은 자연스러운 의역을 오역이라고 하고, 어떤 모델은 진짜 오역을 놓칩니다. 그래서 두 단계로 나눴습니다.

1. 첫 번째 모델이 우리말 문장 전부를 훑어 "큰 오류" 후보만 고릅니다.
2. 서로 다른 회사의 두 번째 모델이 후보를 독립적으로 다시 판정하고 교정문을 씁니다.
3. 둘 다 결함이라고 한 문장만 고칩니다. 한쪽만 의심하면 그대로 둡니다.

두 회사의 모델은 학습 방식이 달라서 같은 착각을 공유할 가능성이 낮습니다. 둘 다 틀렸다고 하는 문장은 실제로 틀린 경우가 대부분이었습니다.

고친 뒤에는

교정된 문장은 워크북에 바로 반영되고, 어떤 문장이 왜 바뀌었는지 기록이 남습니다. 이 기록을 주 단위로 보면서 두 모델이 어떤 종류의 문장에서 자주 갈리는지 관찰하고 있습니다. 판정이 갈리는 문장이 늘면 검수 기준을 다시 조정합니다.

그래도 남는 것

"양쪽 다 결함이 아니라고 했지만 사람이 보면 어색한" 문장은 남을 수 있습니다. 그래서 워크북 판매 자료에는 사람이 표본을 읽는 단계가 마지막에 있고, 발견되면 그 문장을 고치는 것뿐 아니라 검수 규칙에도 추가합니다.

이 글의 검수 방식은 KeePlay 판매 자료 제작 기록 기준입니다.