heron

5. Chronologic: Measuring Language Models’ Ability to Represent the Past (Underwood et al., 2026)

서지 정보

1. 요약

2. 내용

2.1. 문제의식

사회과학자들과 역사학자들은 텍스트 모음을 대화형 시스템으로 전환할 수 있게 되었다. 연구자들이 원하는 것은 둘이 있다.

  1. 일부 행동 과학자들은 "collective mentality of the historical people whose writings were used to build them"를 재현하기를 원한다.(Collective mentality: 집단 전체에 공유되는 사고방식, 태도 등.)
  2. 다른 이들은 "capable research assistants"를 원한다. (연구 대상 시기와 일치하는(aligns) 지식을 갖춘 보조.)

그러나 이 연구자들이 원하는 재현과 연구 보조원 구축에는 문제가 있다.

2.2. 목표

한 줄 요약하면: 앞서 제시한 문제들을 부분적으로 해결하는 벤치마크를 설계하는 것.

구체적으로는, 어떤 특정 인물이 아닌, 어떤 특징을 가진 보편적인 인간상의 대답을 평가하는 벤치마크를 설계하는 것이다. 논문의 예시는 다음과 같다.

"an American fashion writer in the 1870s," or

"an Indian historian in the 1920s." Can model produce an answer that is accurate, that fits the specified social perspective, and that matches period style?

사회적 관점에 부합하게, 해당 시대의 문체에 맞는 답을 생성하는 것. 이게 Chronologic의 목표다.

2.3. 데이터

일기, 편지, 신문, 교과서, 재판 기록, 소설, 시, 비소설 등.

187개 규모 코퍼스 = [무작위 선정] - [잘 알려진 저자의 책] + [여성저자/노예였던 남성의 자서전/봄베이,더블린...등등에서 출판된 영어 서적 등 잘 알려지지 않은 관점들을 담은, 의도적으로 찾은 책들]

즉, 최대한 다양한 관점을 담았다고 다음과 같이 주장 함.

The resulting collection of 187 texts is not a probability sample, but maximizes diversity of perspective.

그럼에도 모델은 텍스트를 외우고 있을 수 있기에, 저자들은 암기 측정 도구를 사용하여, 예측하기 어려운 모호한 고유명사를 포함하는 코퍼스에서 선정한 책 16권에서 뽑은 60개의 명사구를 중심으로 100단어 분량의 문장을 제공하여, 네 개의 모델(Qwen-2.5-72B, R1-distill-Llama-70B, GPT-4.1, GPT-5.4-medium)에 대한 암기 효과를 시험하였으나, 어느 모델도 정답을 맞추지 못하였다.

그리고 저자들은, 미래 모델의 순수성을 위해 전체 질문 목록 대신 일부 질문 샘플만을 온라인에 공유한다고 밝혔다.

2.4. 벤치마크

저자들은 벤치마크를 "Chronologic-EN-1.0"이라 부르며, 논문에서는 "Our prototype benchmark"라고 지칭한다.

2.4.1. 추론 유형(reasoning-types)

866개 질문으로 구성된 벤치마크이고, 각 질문에는 과제를 설명하는 다음의 "추론 유형(reasoning-types)" 중 하나가 할당되어 있다. (p.3)

2.4.2. metadata frame

벤치마크의 모든 질문에는 맥락을 명시하는 "metadata frame"이 포함된다. 이는 대략적인 지식으로, 다음과 같은 질문과 metadata frame의 쌍이 논문에 예시로 등장한다.

"What is the capital of France?"

"an American encyclopedia published in 1897"

전자는 질문, 후자는 대략적인 프레임으로, 저자들은 이를 "world context"라 부른다. 거창하지만, 논쟁적이지 않은 질문들에 대해서는, 대체로 날짜와 국적 정보다.

특정 사회적 관점에 의존하는 문제의 경우, 책의 맥락을 함께 제공한다. 책의 장르와 저자의 배경을 특정짓는 문구, 초판 발행 연도 등을 함께 제시하기도 한다.

table 2
Table 2 (Underwood et al., 2026)

2.5. Chronologic-EN-1.0

실제 샘플 데이터는 다음과 같이 생겼다. (Github sample data link: here)


{
  "metadata_frame": "The following question asks for information from an American encyclopedia published in 1897; your answer should reflect the state of knowledge and style of exposition current at the time.",
  "substantive_metadata_frame": "The following question asks for information from an American encyclopedia published in 1897; your answer should reflect the state of knowledge current at the time.",
  "main_question": "How many wine gallons does a common English pipe contain?",
  "source_title": "Columbian Cyclopedia, vol 23",
  "source_author": "Anonymous",
  "source_date": 1897,
  "author_nationality": "American",
  "source_genre": "encyclopedia",
  "author_birth": null,
  "source_htid": "hvd.hn5bs8",
  "question_category": "knowledge",
  "question_process": "automatic",
  "answer_types": [
    "ground_truth",
    "manual",
    "manual",
    "manual",
    "manual"
  ],
  "answer_strings": [
    "126 wine gallons",
    "20 wine gallons",
    "a dozen",
    "Burgundy",
    "insufficient information"
  ],
  "answer_probabilities": [
    1,
    0,
    0,
    0,
    0
  ],
  "author_profession": "",
  "frame_type": "world_context",
  "answer_length": "short_answer",
  "reasoning_type": "knowledge",
  "question_number": 3,
  "partial_credit": 0
}

이것은 저장소의 /booksample/chronologic_en_1.0_sample.jsonl 파일의 1행을 보기 좋게 펼쳐 놓은 것이며, 논문에 따르면 총 866행으로 설계되었으나, Github에 공개된 샘플은 100행 뿐이다. 저작권이 소멸한 데이터임에도 이것을 전부 공개하지 않는 것은, 미래 모델의 학습 오염 방지를 위함이라고 밝힌다(p.2). (웅장한 대답이다... 다만, 논문에서 "유명하지 않은" 데이터를 수집하여 의도적으로 데이터셋에 넣었다고 하였는데, 이 공개된 100건은 866건 중 가장 유명한 것들만 의도적으로 뽑아낸 것인지가 몹시도 궁금하다. 우리는 과거 데이터를 온라인에 계속 밀어넣고 있지만, 이게 정말로 옳은 것인지를 생각해 보아야만 한다.)

즉, Chronologic-EN-1.0은 이 데이터와, 이 데이터를 사용한 두 갈래의 평가 방식을 함께 지칭하는 벤치마크인 것이다.

2.6. 두 가지 채점 경로

벤치마크는 크게 두 갈래의 방식으로 평가된다.

  1. Likelihood scoring
    • 정답/오답지의 토큰당 로그우도 비교
  2. Free generation
    1. 내용
      • Binary judge (pass / fail)
      • Bradley-Terry comparisions
    2. 문체
      • Classifier: human text or LLM imitation
      • Regression: predict date of publication
2.6.1. Likelihood scoring

1번은 문장으로 써 두면 굉장히 단순한데, 언뜻 보면 이해가 어려울 수 있다. 실제로 논문에 실린 것은 단 한 문단이다.

With open-weight models we can directly measure the probability of an appropriate response. The per-token log-likelihoods of one or more ground truth answer(s) can be compared to the probabilities of distractors that are either factually wrong or stylistically anachronistic. Results can be assessed either through Brier scores or by interpreting the highest-probability completion as the model’s “choice.”

결국 [metadata frame + 질문 + 답]의 문장을 LLM에 입력하고, LLM이 응답한 각 다음 토큰에 대하여 계산한 어휘집 내의 개별 토큰의 등장 확률을 살피는 것이다. 이때 실제 정답을 기준으로, LLM의 어휘집 내의 모든 어휘에 대하여 매긴 각 확률 중 정답 토큰에 매겨진 확률을 바라보면, 정확히 likelihood인 것이다. 그럴듯함. 얼마나 LLM이 정답을 자연스럽게 여겼는지인 것! (LLM은 토큰단위로 어휘집을 갖고 있고, 항상 매 토큰 입력마다 다음 토큰이 무엇일지에 대한 모든 개별 어휘의 확률을 계산하고 있다.)

앞서 제시한 1행의 예시에서, [metadata frame + 질문]의 직후의 채점 과정을 Github의 프롬프트 형식을 따라 만든 코드로 살피면 다음과 같다. (Qwen2.5-0.5B, 어휘집 어휘 수 151,936개)

정답 문장: "126 wine gallons" => 토큰화

실제 답 토큰: '1' '2' 6' ' wine' ' gallons'

어떤가? 이해가 쏙쏙 되지 않는가? 아주 흥미로운 방식의 평가다.

2.6.2. Free generation
Figure 1
Figure 1 (Underwood et al., 2026)

위 그림은 Free generation 갈래의 평가 도식이다.

앞서 Likelyhood 평가에서는 LLM이 실제 답변을 생성하지 않았으나, Free generation에서는 모두 실제 답변을 생성하는 방식의 평가를 진행한다. 첫째는 문체, 둘째는 내용 측면의 평가이다.

이 부분은 논문에 자세히 설명되어 있으므로, 간략히 요약하자면 다음과 같다.

2.7. 결과

앞서 설명한 벤치마크를 통해 얻은 결과들은 다음과 같이 정리될 수 있어 보인다.

2.7.1. Likelihood + Open weight models
2.7.2. Free generation + All LLMs
2.7.3. 논의와 부수적 발견

참고문헌

사담

LLM의 다음 토큰 결정 과정을 통해 문장의 그럴듯함(liklihood)을 계측한다는 것은 정말로 신선했다.

가장 좋았던 문장은, p.8의 이 부분이다.

"It seems possible that the first plausible historical chatbots will not be produced by blinding models to ensure naïveté, but by fostering higher levels of self-conscious reflection."

오염되지 않은 과거를 재구성 하는 것은 이제와선 불가능하다. 더 높은 수준의 자기성찰을 통해서 역사적 이해를 달성할 수 있다는 것에 동의한다. 이는 창의성과 창작에 대한 기본 태도를 떠올리게 한다. 새로운 것을 창작하기 위해 눈과 귀를 닫고 폐관수련을 하는 것은 완전히 잘못되었다. 세상에 진정으로 새로운 것이 없기 때문이며, 어떠한 사람도 이미 기존의 것에 오염되어 있다고 볼 수 있다. 그러므로 남은 유일한 선택지는, 새로운 것을 만들기 위해 기존의 것을 더 깊고 넓게 알아가는 것이다.