인공 지능은 과학적 진보의 논리를 따르지 않습니다

우리는 기계 학습 시스템을 구축하는 사람들에게도 "블랙 박스"(1)라고 선언하는 연구원 및 전문가에 대해 MT에서 여러 번 썼습니다. 이로 인해 결과를 평가하고 새로운 알고리즘을 재사용하기가 어렵습니다.

우리에게 지능형 변환 봇과 시를 만들 수도 있는 독창적인 텍스트 생성기를 제공하는 기술인 신경망은 외부 관찰자에게는 이해할 수 없는 미스터리로 남아 있습니다.

그들은 점점 더 커지고 복잡해지고 있으며, 거대한 데이터 세트를 처리하고 대규모 컴퓨팅 어레이를 사용하고 있습니다. 이로 인해 얻은 모델의 복제 및 분석은 비용이 많이 들고 예산이 큰 대규모 센터를 제외하고 다른 연구자에게는 불가능한 경우가 있습니다.

많은 과학자들이 이 문제를 잘 알고 있습니다. 그 중 조엘 피노(2), 재현성에 관한 최고의 회의인 NeurIPS의 의장입니다. 그녀가 이끄는 전문가들은 "재현성 체크리스트"를 만들고 싶어합니다.

Pino에 따르면 이 아이디어는 연구원들이 다른 사람들에게 로드맵을 제공하여 이미 완료된 작업을 다시 만들고 사용할 수 있도록 권장하는 것입니다. 새로운 텍스트 생성기의 웅변이나 비디오 게임 로봇의 초인적인 민첩성에 경탄할 수 있지만, 최고의 전문가조차도 이러한 경이로움이 어떻게 작동하는지 모릅니다. 따라서 AI 모델의 재생산은 연구의 새로운 목표와 방향을 식별하는 것뿐만 아니라 순전히 실용적인 사용 지침으로 중요합니다.

다른 사람들은 이 문제를 해결하기 위해 노력하고 있습니다. Google 연구원은 잠재적인 버그를 가리키는 결과를 포함하여 시스템이 테스트된 방식을 자세히 설명하는 "모델 카드"를 제공했습니다. Allen Institute for Artificial Intelligence(AI2)의 연구원들은 Pinot 재현성 체크리스트를 실험 과정의 다른 단계로 확장하는 것을 목표로 하는 논문을 발표했습니다. “당신의 일을 보여주십시오”라고 그들은 촉구합니다.

연구 프로젝트, 특히 회사에서 일하는 실험실이 소유하기 때문에 기본 정보가 누락되는 경우가 있습니다. 그러나 더 자주, 그것은 변화하고 점점 더 복잡해지는 연구 방법을 설명할 수 없다는 신호입니다. 신경망은 매우 복잡한 영역입니다. 최상의 결과를 얻으려면 수천 개의 "노브와 버튼"을 미세 조정해야 하는 경우가 많으며 일부에서는 이를 "흑마법"이라고 합니다. 최적 모델의 선택은 종종 많은 실험과 관련이 있습니다. 마법은 매우 비쌉니다.

예를 들어 Facebook이 DeepMind Alphabet에서 개발한 시스템인 AlphaGo의 작업을 복제하려고 했을 때 작업이 매우 어려운 것으로 나타났습니다. Facebook 직원에 따르면 엄청난 계산 요구 사항, 수천 대의 장치에서 며칠 동안 수백만 건의 실험, 코드 부족으로 인해 시스템이 "불가능하지는 않더라도 재생성, 테스트, 개선 및 확장하기가 매우 어렵습니다".

문제가 전문화된 것 같습니다. 그러나 우리가 더 생각하면 한 연구팀과 다른 연구팀 사이의 결과 및 기능의 재현성에 문제가 있는 현상은 우리에게 알려진 과학 및 연구 프로세스의 기능에 대한 모든 논리를 훼손합니다. 일반적으로 이전 연구의 결과는 지식, 기술 및 일반적인 발전의 발전을 자극하는 추가 연구의 기초로 사용될 수 있습니다.