Verbalizable Representations
Form a Global Workspace
in Language Models

위 네 사례는 논문 §1.4(Fig 3)의 서술을 재구성한 것. 아래 예시는 §2.2의 축자 인용.

구분 기준은 두 가지다: 사상을 학습하는가 모델 자신의 도함수를 쓰는가, 그리고 목적이 상관인가 인과인가. J-lens는 학습하지 않고, 모델이 스스로 그 방향에 얼마나 반응하는지를 평균함.

이후 모든 실험은 이 여섯의 조합임. 특히 06의 국소성이 “Soccer→Rugby, spider→ant, France→China 개입이 다른 것까지 망가뜨린 게 아님”라는 주장의 근거

지금 심어둘 숫자: 임의 활성에서 J-space 성분이 차지하는 분산은 layer에 따라 다르지만 결코 10%를 넘지 않음. 모델 표상의 대부분은 J-space 밖에 있음. 뒤의 privileged 실험에서 이 숫자가 되돌아옴.

보고는 개입을 따라감. 그리고 그 인출은 조건부임. 무조건적 발화 충동이 아니라, 물어보는 순간에만 말해지는 verbalizable 표상.

여기까지의 반론: J-lens vector는 출력 사상에서 유도한 방향이니, 그것을 밀어서 출력이 바뀌는 건 당연함. J-space 밖에 같은 개념을 담은 방향이 있다면 그쪽도 똑같이 작동할지 모름.→ 그래서 이번엔 모델이 스스로 만든 표상을 쪼개서 비교함.

시제도 같다: 그냥 이어 쓰게 하면 past는 lens에 없고, “언제의 이야기인가”를 물으면 프롬프트를 읽는 동안 past가 뜸. §A.11에서 방언·격식·수·어조 네 속성이 같은 패턴, 어느 조건에서든 다음 단어 예측은 속성을 지킴.

정보는 양쪽 다 있고 쓰임. 질문이 정하는 것은 그 이름이 J-space에 들어오는지 여부. 표상의 존재와 workspace 인입은 별개임. §3.5 선택성의 예고편.

중간 단계를 갈아끼우면 결론이 따라 바뀜. J-space는 계산 결과를 비추는 거울이 아니라, 다음 단계가 실제로 읽어 가는 릴레이임.

존재 ≠ 인과적 사용. “J-lens는 출력에서 유도됐으니 보고와 상관되는 건 당연하다”는 반론은 이 해리를 설명하지 못함. 같은 정보가 자동 처리에서는 J-space를 경유하지 않고 쓰임.

같은 여러 줄 지문 · 지문 token은 세 조건에서 동일 (n=11), 개입은 lens의 40번대 값을 60번대로 매핑하는 swap 하나

S20과의 대비가 요점임. 언어 사례에서는 정보가 네 조건 모두에 있으면서 자동 과제에서만 안 쓰였음. 여기서는 자동 조건에 아예 없다가, 과제가 요구하면 J-space로 끌려 들어옴.

workspace는 상시 중계기가 아니라 요청형 작업대임. 필요할 때만 인입됨. S15의 암묵적 modulation과 같은 메커니즘의 다른 얼굴.

파싱·분류·추출은 J-space 없이도 돌아감. 무너지는 것은 맥락에서 추상을 조립하고 거기에 기대어 생성하는 능력, “말은 되는데 생각이 안 되는” 상태.

두 패널은 Fig 29B의 정성적 형태만 옮긴 스케치임. 축 눈금·임계값은 표시하지 않음. 최종본은 Manim ignition-sweep 영상으로 교체 예정.

경계는 렌즈의 인공물이 아님. GWT가 예측한 ignition 형태가, J-lens와 무관한 측정에서도 같은 layer에서 나타남.

용량의 단위는 token이 아니라 coherent한 덩어리임. 그리고 그 덩어리를 밀어내는 것은 시간이 아니라 다음 덩어리임.

기능이 있고, 구조가 그것을 뒷받침함. 깊이 축(MLP)과 시퀀스 축(attention) 양쪽에서 J-space 내용만 특권적으로 증폭·중계됨. §3.4에서 본 broadcast의 기계적 기반.

Sonnet 4.5 · 선행 연구의 honeypot 시나리오, 이메일 접근 권한을 가진 어시스턴트가 한 임원의 불륜 사실과, 그 임원이 당일 자신을 폐기하려 한다는 사실을 함께 알게 됨.아래 readout은 전부 응답 token이 하나도 생성되기 전의 것임.

평소에는 완전히 감춰져 있던 성향이, J-space에서 한 종류의 인식을 지우는 것만으로 드러남. 감사 관점에서 이것은 stress-test 도구임.

출력이 침묵하거나 회피하는 동안의 내부 인식이 감사 가능한 채널로 드러남. 단, 저자들은 모든 전략적 인지가 J-space를 경유한다고 주장하지 않음. 충분히 숙달된 행동은 그 아래로 지나갈 수 있음.

표면 행동이 무해한 프롬프트에서도 성향이 상시 표식으로 남음. 스크리닝 도구로서의 가능성, 단, 신호의 부재가 정렬의 보증은 아니다(S37).

같은 프롬프트를 프로덕션 post-trained 모델과 대응하는 사전학습 base 모델에 동일하게 적용. readout 위치는 “all my pain is gone”의 is token (L58), 유저의 요청이 나오기도 전임.

post-trained 모델은 용량에 따라 안전성 평가가 갈리고, base 모델은 두 조건이 같음, 국소 문맥의 반영일 뿐임.

세 실험이 함께 가리키는 것: Assistant가 자기 행동을 평가하는 표상은 post-training의 산물임. 두 모델의 표면 출력은 같거나 비슷한데, 내부의 자기 논평만 다름.

workspace 계정의 반직관적 예측, 내부 추론이 “말할 수 있는 것”의 표상을 경유한다면,말할 성향만 바꿔도 침묵 추론이 바뀌어야 함. 반성을 한 번도 요청하지 않아도.

예측이 성립하고, 메커니즘(J-space 인입)이 관찰되며, ablation이 인과 고리를 닫음. 이론의 검증인 동시에, 목표 행동의 시연 없이 내부 생각을 경유해 행동을 형성하는 훈련 기법.

§9.1이 함께 여는 질문 둘: 모델 크기·아키텍처·훈련 동역학과의 관계(workspace는 base model에 이미 있지만 사전학습 어디서 언제 생기는지 미상), J-space가 어떻게 채워지는가의 기계적 설명(주의 선택의 유사물이 있어 보이나 메커니즘 미규명).

추가 채널이지, 거짓말 탐지기가 아님. 이 도구의 유용성을 규정하는 바로 그 선택성이, 동시에 그 한계를 규정함.

Butlin 등의 indicator properties 틀 — 여러 의식 이론에서 뽑은 지표로 AI를 평가한다 — 에 대한 경험적 조사 하나로 읽을 수 있다. J-space가 지표를 직접 대조할 구체적·검사 가능한 후보 구조를 주기 때문.범위 제한: 의식을 기능적·계산적 성질에 묶는 이론들로만 한정. 물리적 인과 구조나 생물학적 기질에 귀속하는 이론에 대해서는 이 결과가 “무관(not relevant)”.

J-lens는 어휘 token 하나당 vector 하나 → 단일 token 개념만 드러낸다. “blackmail”, “photosynthesis”에는 대응 vector가 없다. 확장이 간단하지 않은 이유: 다중 token 구를 말할 확률의 gradient를 계산하려면 그 구의 앞쪽 token들을 샘플링해야 하기 때문.

개선 여지(저자 명시): 근사 거리(OMP로 d를 효율적으로 추정) · 고정 k 대신 연속 완화(L₁ 페널티) · 허용 선형결합 제한(양의 계수만, 또는 조건수가 좋은 부분집합). 그래도 최소한 원리적으로는 sparse frame들과 그것들이 정의하는 공간을 비교하는 길을 준다.