구글, 손실된 클림트 작품들 색상을 AI로 복원
Gustav Klimt, Philosophy, 1899, with its black-and-white version at left and its AI-colorized version at right.
COURTESY GOOGLE ARTS & CULTURE
구글의 문화 예술 프로젝트인 구글 아트 앤 컬처(Google Arts & Culture)는 구스타프 클림트의 작품을 가상 갤러리 ‘클림트 vs. 클림트-모순의 인간(Klimt vs. Klimt - The Man of Contradictions)'을 개설했다. 이곳에서는 클림트의 삶, 그에게 미친 예술적 영감, 그가 남긴 위대한 족적, 그리고 오스트리아 최고의 미술관 벨베데르와 빈 박물관 큐레이터들의 글도 찾아 볼 수 있다.
‘클림트 vs. 클림트’에서는 불에 타 사라진 클림트의 3대 걸작 <의학> <법학> <철학>의 색상을 되살리는 ‘클림트 컬러 에니그마(The Klimt Color Enigma)'프로젝트도 소개되고 있다. AI를 이용해 흑백 사진으로만 남아 있던 작품에 생생한 색상을 입히는 작업이다.
3개의 작품 <의학> <법학> <철학>은 빈 대학교 대강당 천장화 제작을 의뢰받고 그린 것이다. 그러나 작품이 완성됐을 때, 빈 대학교 측은 작품들이 외설적이고 도착적이라고 생각했다. 결국 세 작품은 개인에게 팔리고 만다. 그리고 2차 대전 종전을 앞두고 세 작품은 화재로 사라졌고, 지금까지 흑백 사진으로만 남았다.
세 작품 복원은 클림트 전문가들과 AI 연구원들이 협업으로 이뤄졌다. 오스트리아 벨베데르 미술관 큐레이터 프란츠 스몰라와 구글 아트 앤 컬처 연구소(Google Arts & Culture Lab) 에밀 월너는 이 세 작품의 색상을 정교하게 살려내기 위한 알고리즘을 개발했다.
프란츠 스몰라는 아카이브를 뒤져서 세 작품, 특히 색채를 묘사한 기록을 찾아냈다. 그리고 세 작품의 모티프(motif) 가운데 동 시대 클림트의 다른 그림들에서도 나타나는 모티프를 찾았다. 즉, <법학>에 묘사된 세 여성들은 뱀을 휘감고 있다. 클림트가 1902년에 제작한 작품 <베토벤 프리즈>에서도 한 여성이 황금빛 뱀을 휘감고 있다. 금박을 사용한 황금빛은 클림트를 상징하는 색이다.
에밀 월너는 클림트의 채색 스타일을 머신 러닝 기법을 활용해 찾아내는 알고리즘을 개발했다. 방대한 데이터 세트(백만 장에 이르는 실제 세계 사진들, 구글 아트 앤 컬처 사이트에 있는 91,749점의 그림 이미지)를 바탕으로 한 머신 러닝(machine learning) 알고리즘이다. 즉, 백만 장의 사진을 바탕으로, 머신 러닝 기법을 활용해 피부의 톤과 하늘을 묘사한 색상을 찾아냈다. 91,749점의 그림으로 부터는 구성, 경계(object boundaries), 질감을 찾아냈다. 그리고 클림트가 그린 80점의 회화를 토대로 ‘클림트 스타일’을 더했다. 이렇게 해서 손실된 세 작품에 가장 근접한 이미지가 복원된 것이다.
스몰라는 “결과는 놀라웠다. 어떤 지식 없이도 클림트 작품의 색상을 되살릴 수 있었기 때문이다. 머신 러닝을 이용해, 우리는 클림트가 사용했을 특정한 색상을 충분히 추정할 수 있다”고 말했다.
