Eleuther AI, 대규모 공개 텍스트 데이터베이스 ‘Common Pile v0.1’ 공개: AI 학습의 새로운 가능성을 열다

AI 학습 데이터, 저작권 논란을 넘어 공개 데이터로

최근 몇 년간 AI 기술, 특히 생성형 AI (GenAI) 분야는 눈부신 발전을 거듭해 왔습니다. 하지만 이와 동시에 AI 모델 학습에 사용되는 데이터의 저작권 문제가 뜨거운 감자로 떠올랐습니다. 많은 생성형 AI 기업들이 저작권자의 허락 없이 저작권이 있는 자료를 모델 학습에 활용한다는 비판이 제기되었고, 이는 법적 분쟁으로까지 이어지고 있습니다. 이러한 상황 속에서 AI 연구 단체인 Eleuther AI가 대규모 공개 텍스트 데이터베이스 'Common Pile v0.1'을 공개하며 새로운 가능성을 제시하고 있습니다.

Common Pile v0.1: 공개적으로 이용 가능한 8TB 규모의 텍스트 데이터

Techcrunch에 따르면, Eleuther AI는 AI 시스템 학습에 사용될 수 있는 8TB 규모의 텍스트 데이터베이스인 'Common Pile v0.1'을 출시했습니다. 이 데이터베이스는 오직 공개적으로 라이선스가 부여된 텍스트 또는 퍼블릭 도메인으로 분류된 텍스트로만 구성되어 있습니다. 이는 저작권 침해 논란 없이 AI 모델을 학습시킬 수 있는 귀중한 자료가 될 것으로 기대됩니다. Common Pile v0.1은 Eleuther AI가 Poolside, Hugging Face, 미국 의회 도서관, 토론토 대학교 등과 협력하여 2년에 걸쳐 개발한 결과물입니다.

'The Pile' 논쟁과 Common Pile v0.1의 의미

Eleuther AI는 과거에도 'The Pile'이라는 데이터 컬렉션을 공개한 바 있습니다. 하지만 'The Pile'은 저작권 문제에 대한 논쟁의 중심에 서게 되었고, 이에 Eleuther AI는 저작권이 있는 자료 없이도 AI 모델 학습이 가능하다는 것을 보여주기 위해 Common Pile v0.1을 개발하게 되었습니다. Common Pile v0.1은 실제로 Comma v0.1-1T 및 Comma v0.1-2T AI 모델 학습에 사용되었으며, Eleuther AI는 Comma v0.1-2T가 프로그래밍, 이미지 이해, 수학 측면에서 Meta의 초기 Llama 모델과 비슷한 수준의 성능을 보인다고 주장합니다.

지속적인 공개 데이터 컬렉션 출시 계획

Eleuther AI는 앞으로 더 많은 공개 데이터 컬렉션을 출시할 계획을 가지고 있습니다. 이는 AI 연구 및 개발에 대한 접근성을 높이고, 저작권 문제로부터 자유로운 AI 모델 학습 환경을 조성하는 데 기여할 것으로 기대됩니다. 또한, 공개 데이터 기반의 AI 모델 개발은 AI 기술의 윤리적 사용과 책임감 있는 발전을 촉진하는 데 중요한 역할을 할 수 있을 것입니다.