리머(REAMER) AI 할루시네이션 R&D 센터

연구 자산

• 8+ 리머가 정리한 할루시네이션 원인: 서비스 중인 AI의 실제 오답을 모아 원인별로 나눴습니다. 두 가지는 공개하고, 나머지는 파트너에게 드립니다.
• 1,800+ 자체 할루시네이션 데이터셋 문항: AI가 실제로 틀린 문항, 함정 문항, 아는 척을 유도하는 문항 등 4종. 정답은 모두 법제처 현행 원문으로 확정했습니다.
• 23 지금까지 남긴 연구 기록: 보고서 10편 · 데이터셋 4종 · 블라인드 시험 3회 · 기술 노트 3편 · 특허 기록 3건. 목록은 공개하고, 내용은 파트너에게 드립니다.
• 2건 특허 출원 준비(판정 · 감시 기술): 2026년 10월 부존재 신뢰도 정량화로 첫 출원을 했다가, 범위를 넓혀 판정 재현 특허로 다시 내려고 취하했습니다. 답변 유효성 감시 특허도 함께 준비하고 있습니다.

공개한 할루시네이션 원인 두 가지

• 개정 전 값: 바뀐 숫자 · 기간 · 금액을 옛 기준 그대로 말합니다. 학습한 뒤에 사실이 바뀌었거나 검색 자료가 옛 문서일 때 생기고, 법령 · 세율처럼 자주 바뀌는 분야에서 특히 많습니다.
• 지어낸 근거: 없는 논문 · 판례 · 조문 · 기사를 그럴듯한 이름과 번호로 만들어 냅니다. 'AI 거짓말'로 가장 많이 알려진 원인입니다.

연구 분야

• 원인 연구: 실제 오답을 모아 할루시네이션이 생기는 원인을 8가지로 나누고, 원인마다 고치는 순서를 정리합니다.
• 데이터셋: AI가 실제로 틀린 문항, 원문에서 만든 함정 문항, 아는 척을 유도하는 문항 등 4종, 1,800여 문항입니다. 정답을 원문으로 확정할 수 있는 법령 분야에서 먼저 만들었습니다.
• 평가 · 벤치마크: 처음 보는 문항으로 블라인드 시험을 합니다. 범용 AI와 검색을 붙인 AI, 서비스 중인 전문 AI가 어디서 틀리는지 확인합니다.
• 판정 · 감시 기술: 인용된 근거가 실제로 있는지 판단하고, 그 판정을 나중에 다시 확인할 수 있게 남깁니다. 사실이 바뀌면 이미 나간 답도 다시 살핍니다.

연구 원칙

• 실제 오답에서 출발: 서비스 중인 AI가 실제로 틀린 답에서 연구를 시작합니다.
• 정답은 원문으로: 모든 정답은 공식 원문으로 확정합니다(법령은 법제처 현행 원문). 근거를 대지 못하는 판정은 기록하지 않습니다.
• 문항은 공개하지 않음: 문항이 공개되면 AI가 그 문항에 맞춰질 수 있습니다. 시험이 실제 실력을 재도록 지킵니다.
• 요약은 공개, 전문은 파트너: 연구 요약은 누구나 볼 수 있고, 보고서 전문과 데이터셋 구성은 파트너에게만 드립니다.

연구가 쓰이는 곳

• 베리라인 VERILINE (검증 서비스 · 솔루션): 리머의 원인 분류와 데이터셋으로 기업용 AI 답변을 감사하고 검증합니다.
• 미르미 MIRMI (확인된 것만 말하는 AI): 리머가 정리한 할루시네이션 원인을 답변 시험에 씁니다.

연구 보고서 요약: 베리라인 할루시네이션 연구

연구 보고서 목록

• R-10 · 보고서 · 세법 할루시네이션은 세율보다 기한, 기본법보다 특례법에서 많다 (2026.11.02)
• R-09 · 보고서 · 분야와 질문 유형에 따라 달라지는 AI의 법령 정확도 (2026.11.01)
• R-08 · 보고서 · 질문에 섞인 틀린 말을 AI는 얼마나 받아들이나 (2026.11.01)
• R-07 · 보고서 · 가짜 판례는 줄었지만 최신 AI가 아직 지어내는 근거 (2026.11.01)
• R-06 · 보고서 · 대화가 길어질수록 틀리는 상담 AI: 정확도 점수로는 안 보이는 두 가지 문제 (2026.10.31)
• R-05 · 보고서 · 2026년 개정 법령을 모르는 AI의 오답 (2026.10.31)
• R-04 · 보고서 · 할루시네이션 데이터셋 설계 노트 (2026.10.31)
• R-03 · 보고서 · 법령 원문 검색(RAG)을 붙인 AI의 블라인드 시험 (2026.10.31)
• R-02 · 보고서 · 최신 범용 AI, 법령 함정 질문에서 42%가 틀렸다 (2026.10.31)
• R-01 · 보고서 · AI가 법령을 틀리게 말하는 8가지 원인 (2026.10.31)
• T-03 · 기술 노트 · 데이터셋 751문항 근거를 현행 법령과 다시 대조 (2026.10.29)
• T-02 · 기술 노트 · 1 · 2세대 데이터셋의 결점과 3세대 설계 (2026.10.29)
• T-01 · 기술 노트 · 법령 할루시네이션 판정 기술 점검 (2026.10.29)
• D-03 · 데이터셋 · 아는 척 유도 데이터셋(65문항) (2026.10.29)
• D-02 · 데이터셋 · 대규모 함정 데이터셋(1,148문항) (2026.10.29)
• D-04 · 데이터셋 · 검색해도 틀리는 데이터셋(118문항) (2026.10.27)
• D-01 · 데이터셋 · AI 실제 오답 데이터셋(505문항) (2026.10.26)
• B-02 · 시험 · 처음 보는 법령 블라인드 시험 2차 · 정밀 등급 (2026.10.27)
• B-01 · 시험 · 처음 보는 법령 블라인드 시험 1차 (2026.10.27)
• B-00 · 시험 · 최신 범용 AI 법령 함정 1,200문항 시험 (2026.10.26)
• P-03 · 특허 · 생성형 AI 답변의 유효성 감시 및 사전 통지 (출원 준비)
• P-02 · 특허 · 생성형 AI 답변의 법령 검증 및 판정 재현 (출원 준비)
• P-01 · 특허 · 인용된 법령 · 판례 · 문헌의 부존재 신뢰도 정량화 (2026.10 출원 · 재출원)

자주 묻는 질문

리머는 어떤 곳인가요?

AI 할루시네이션(환각)을 연구하는 R&D 센터입니다. 연구 결과는 검증 서비스 베리라인과 한국형 AI 미르미에 쓰입니다.

할루시네이션이 정확히 뭔가요?

AI가 사실이 아닌 것을 사실처럼 말하는 현상입니다. 'AI 거짓말', 'AI 환각'이라고도 부릅니다. 리머가 정리한 할루시네이션의 원인은 크게 8가지이고, 그중 두 가지는 개정 전 값과 지어낸 근거입니다.

왜 법률부터 연구하나요?

정답을 공식 원문으로 확정할 수 있어 할루시네이션을 가장 정확히 잴 수 있습니다. AI 안내를 믿고 기한을 놓치거나 받을 돈을 덜 받는 일도 실제로 생깁니다. 여기서 찾은 원인과 측정법을 다른 분야로 넓혀 갑니다.

연구 보고서는 볼 수 있나요?

목록과 요약은 공개합니다. 보고서 전문과 데이터셋 구성은 파트너(베리라인과 거래한 회사)에게만 드립니다.

AI 감사나 검증을 맡기고 싶어요.

리머는 연구만 합니다. 감사 · 검증 서비스와 견적은 베리라인(veriline.kr)에서 안내합니다.