권능오 노무사의 노동법률 이야기] (76) AI 거짓말 누가 책임지나

AI의 발전 속도가 놀랍다. 그러나 사실 AI 열풍은 처음이 아니다. 1960년대 중반 미국에서도 "머지않아 AI가 인간의 일을 모두 대체할 것"이라는 전망이 나왔었다.

다만 그때는 기술적 한계로 잠시 잦아들었을 뿐이다. 이후 2022년 말, 오픈AI가 생성형 AI인 'ChatGPT'를 내놓으면서 인공지능은 다시 세상의 중심에 섰다.

한국은 특히 AI 논의가 뜨겁다. 새로운 기술이 등장할 때마다 "이제는 모두 바꿔야 살아남는다"는 분위기가 형성되는 것도 우리 사회의 익숙한 풍경이다.

그러나 이런 열기 속에서도 반드시 짚고 넘어가야 할 문제가 있다. 바로 AI의 '환각(hallucination)' 현상, 즉 '그럴듯한 거짓말'을 만들어내는 오류다.

AI는 실제 존재하지 않는 정보를 그럴듯하게 만들어내곤 한다. 법률 분야에서는 이 현상이 특히 치명적이다. 필자 역시 상담이나 칼럼 작성 과정에서 AI가 알려준 판례 번호를 법원 판례 검색기로 확인해보면 존재하지 않는 경우가 대부분이었다. "왜 가짜를 알려주느냐"고 되묻자, AI는 "실수였다"며 또 다른 '가짜 판례'를 제시한다.

실제 사건도 있었다. 지난 10월, 국회 국정감사에서는 경기 용인동부경찰서가 AI가 생성한 가짜 대법원 판례를 불송치 결정문에 인용한 사실이 드러났다. 고소인이 내용을 검증하자 해당 판례는 존재하지 않았고, 경찰청장이 국회에서 공식 사과하는 사태로 번졌다.

해외에서도 사정은 비슷하다. 뉴욕의 한 변호사는 소송 서류에 6건의 판례를 인용했는데, 모두 ChatGPT가 만들어낸 허위 판례였다. 그는 "진짜 판례냐"고 재확인했지만, AI는 "실제 존재하는 판례"라고 자신 있게 답했다. 스탠퍼드대 HAI 연구팀의 2024년 보고서에 따르면, GPT-4의 법률 질의 환각률은 58%, Llama2는 88%에 달했으며, 법원 핵심 판결 관련 질의의 경우 75% 이상이 허위 응답이었다.

이런 현상은 AI가 인간처럼 '사실을 이해'하는 것이 아니라, 다음에 올 단어를 확률적으로 예측하는 통계적 모델이기 때문에 발생한다. 즉, 학습 데이터에 없는 질문이 주어지면 AI는 빈칸을 '추론'으로 채우며, 그 과정에서 거짓이 섞이는 것이다.

문제는 이런 오류가 단순한 기술적 한계를 넘어, 법적 판단을 왜곡할 위험이 있다는 점이다. 예컨대 인사·노무 영역에서 AI는 실제로 존재하는 사용자 측 유리한 판례나 행정해석을 무시하고, 근로자 친화적인 답변을 제시하는 경우가 많다. 이유를 물으면 "웹상 자료를 중심으로 판단했다"거나 "법적 리스크 방지 목적상 근로자 중심으로 설계됐다"는 식의 답변을 내놓는다. 결국 AI의 답변은 '진실'이 아니라 '설계된 방향성'일 수 있음을 스스로 인정하는 셈이다.

심지어 단순 계산 문제에서도 정확하지 않다. 예를 들어 "2020년 6월 15일 입사한 근로자가 2022년 11월 7일 부당해고를 당했다가 2024년 11월 1일 복직한 경우, 2025년 1월 1일에 받아야 할 연차유급휴가 일수는 얼마인가"라는 질문에 주요 AI들은 "16일""15일" 등 서로 다른 값을 제시했으나, 실제 근로기준법과 고용노동부 행정해석, 대법원 판례에 따른 정답은 2.7일이다.(회계연도관리방식 기준)

이처럼 AI의 '환각'은 단순 오류가 아니라 구조적 특성이다. 그래서 최근에는 이를 보완하기 위해 RAG(Retrieval-Augmented Generation) 기술이 도입되고 있다. 이는 AI가 답변을 생성하기 전, 외부의 신뢰할 수 있는 데이터베이스에서 관련 근거를 검색·인용하도록 설계한 방식이다. 그러나 아직 완전하지 않으며, 법률문제처럼 사실관계가 엄격히 요구되는 분야에서는 인간의 검증이 필수다.

사람은 한두 번의 거짓말로도 신뢰를 잃는다. 하물며 법률문제에 있어 최소 50% 이상의 확률로 '거짓'을 말할 수 있는 AI를 그대로 믿는다면, 책임은 결국 사용자에게 돌아올 것이다. AI는 편리한 도구지만, 판단의 주체는 여전히 인간이어야 한다. 법률가는 AI의 말을 '정답'이 아닌 '참고자료'로 삼을 때에만, 기술의 혜택을 안전하게 활용할 수 있을 것이다. 첨언하자면 만약 AI가 회사 직원이었다면 "매우 잦은 허위보고"로 "해고 대상자"이었을 것이다.

---------------------------------------------------

■이코노텔링 권능오 편집위원(노무사)■ 서울대학교를 졸업 후 중앙일보 인사팀장 등을 역임하는 등 20년 이상 인사·노무 업무를 수행했다. 현재는 율탑노무사사무소(서울강남) 대표노무사로 있으면서 기업 노무자문과 노동사건 대리 등의 업무를 하고 있다. 저서로는 '회사를 살리는 직원관리 대책', '뼈대 노동법' 등이 있다.