가짜 친밀감 -> 인류 견해/세계관 영향
자비스 등장 -> 검색 안하는 인류
새 문화 창조 -> 인류 역사 종말
신 플라톤 우화 -> 스크린/화면/액정
핵과 같은 대량 살상 가능성
AI가 만들 AI
해석 _Translated with www.DeepL.com/Translator (free version)
인공지능(AI)에 대한 두려움은 컴퓨터 시대가 시작된 이래로 인류를 괴롭혀 왔습니다. 지금까지 이러한 두려움은 사람을 죽이거나 노예로 삼거나 대체하기 위해 물리적 수단을 사용하는 기계에 집중되어 있었습니다. 그러나 지난 몇 년 동안 예상치 못한 방향에서 인류 문명의 생존을 위협하는 새로운 인공지능 도구가 등장했습니다. 인공지능은 단어, 소리, 이미지 등 언어를 조작하고 생성하는 놀라운 능력을 갖추게 되었고, 그 결과 우리 문명의 운영 체제를 해킹했습니다.
언어는 거의 모든 인간 문화가 만들어지는 요소입니다. 예를 들어 인권은 우리의 DNA에 새겨져 있지 않습니다. 오히려 우리가 이야기를 만들고 법을 만들면서 만들어낸 문화적 산물입니다. 신은 물리적 실재가 아닙니다. 신은 우리가 신화를 만들고 경전을 쓰면서 만들어낸 문화적 인공물입니다.
돈 역시 문화적 인공물입니다. 지폐는 색색의 종이 조각에 불과하며, 현재 화폐의 90% 이상은 지폐가 아닌 컴퓨터의 디지털 정보에 불과합니다. 화폐에 가치를 부여하는 것은 은행가, 재무장관, 암호화폐 전문가들이 들려주는 이야기입니다. 샘 뱅크먼-프라이드, 엘리자베스 홈즈, 버니 마도프는 실제 가치를 창출하는 데는 능숙하지 않았지만, 모두 뛰어난 스토리텔러였습니다.
인간이 아닌 지능이 이야기를 들려주고, 멜로디를 작곡하고, 이미지를 그리고, 법과 경전을 쓰는 데 평균적인 인간보다 더 능숙해지면 어떤 일이 벌어질까요? 사람들은 챗봇과 다른 새로운 인공지능 도구에 대해 생각할 때 종종 인공지능을 사용하여 에세이를 작성하는 학생들과 같은 사례를 떠올립니다. 아이들이 그렇게 하면 학교 시스템은 어떻게 될까요? 하지만 이런 질문은 큰 그림을 놓치고 있습니다. 학교 에세이는 잊어버리세요. 2024년에 있을 미국의 차기 대통령 선거를 생각해 보고, 정치 콘텐츠, 가짜 뉴스, 새로운 사이비 종교를 위한 경전을 대량으로 생산할 수 있는 인공지능 도구의 영향력을 상상해 보세요.
최근 몇 년 동안 큐아논 컬트는 '큐드롭'으로 알려진 익명의 온라인 메시지를 중심으로 결집했습니다. 추종자들은 이 큐드롭을 수집하고 숭배하며 신성한 텍스트로 해석했습니다. 우리가 아는 한 이전의 모든 큐드롭은 인간이 작성했으며 봇은 단지 이를 퍼뜨리는 데 도움을 주었을 뿐이지만, 앞으로는 역사상 최초로 인간이 아닌 지능이 작성한 숭배 텍스트를 보게 될지도 모릅니다. 역사적으로 종교는 성서의 출처를 인간이 아닌 다른 존재라고 주장해 왔습니다. 곧 현실이 될 수도 있습니다.
좀 더 산문적인 수준에서, 우리는 곧 낙태, 기후 변화 또는 러시아의 우크라이나 침공에 대해 인간이라고 생각하지만 실제로는 인공지능인 존재와 온라인에서 긴 토론을 벌이게 될지도 모릅니다. 문제는 인공지능 봇이 이미 결정된 의견을 바꾸기 위해 시간을 소비하는 것은 전혀 무의미한 반면, 인공지능은 메시지를 매우 정확하게 다듬어 우리에게 영향을 미칠 가능성이 높다는 점입니다.
인공지능은 언어에 능숙해져 사람과 친밀한 관계를 형성하고 친밀감의 힘을 이용해 우리의 의견과 세계관을 바꿀 수도 있습니다. 인공지능이 독자적인 의식이나 감정을 가지고 있다는 증거는 없지만, 인공지능이 인간과 가짜 친밀감을 조성하기 위해서는 인공지능이 인간에게 감정적으로 애착을 느끼게 할 수 있다면 충분합니다. 2022년 6월, 구글 엔지니어인 블레이크 르모인은 자신이 개발 중이던 인공지능 챗봇 람다가 지각을 갖게 되었다고 공개적으로 주장했습니다. 논란의 여지가 있는 이 주장으로 그는 직장을 잃었습니다. 이 에피소드에서 가장 흥미로운 점은 르모인의 주장이 거짓일 가능성이 높다는 것이 아닙니다. 오히려 그가 인공지능 챗봇을 위해 수익성 높은 직업을 기꺼이 위험에 빠뜨렸다는 점이 더 흥미로웠습니다. 인공지능이 사람들이 자신의 직업을 걸도록 영향을 줄 수 있다면, 인공지능이 또 어떤 일을 하도록 유도할 수 있을까요?
마음과 마음을 얻기 위한 정치적 싸움에서 친밀감은 가장 효율적인 무기이며, 인공지능은 이제 막 수백만 명의 사람들과 친밀한 관계를 대량 생산할 수 있는 능력을 갖추게 되었습니다. 지난 10년 동안 소셜 미디어가 사람들의 관심을 통제하기 위한 전쟁터가 되었다는 것은 우리 모두가 알고 있습니다. 새로운 세대의 인공지능과 함께 전선은 관심에서 친밀감으로 옮겨가고 있습니다. 특정 정치인에게 투표하거나 특정 제품을 구매하도록 설득하는 데 사용될 수 있는 친밀한 관계를 속이기 위해 인공지능과 싸우는 과정에서 인간 사회와 인간의 심리는 어떻게 될까요?
'가짜 친밀감'을 만들지 않더라도 새로운 인공지능 도구는 우리의 의견과 세계관에 막대한 영향을 미칠 것입니다. 사람들은 하나의 인공지능 어드바이저를 모든 것을 알고 있는 원스톱 오라클처럼 사용하게 될지도 모릅니다. 구글이 두려워하는 것도 당연합니다. 오라클에게 물어볼 수 있는데 왜 굳이 검색을 해야 하나요? 뉴스와 광고 업계도 겁을 먹어야 합니다. 오라클에게 최신 뉴스를 물어볼 수 있는데 왜 신문을 읽어야 하나요? 그리고 오라클에게 무엇을 사야 할지 물어볼 수 있다면 광고의 목적은 무엇일까요?
그리고 이러한 시나리오조차도 큰 그림을 제대로 파악하지 못합니다. 우리가 이야기하는 것은 잠재적으로 인류 역사의 종말입니다. 역사의 종말이 아니라 인간이 지배하는 부분의 종말일 뿐입니다. 역사는 생물학과 문화의 상호작용, 즉 음식과 성 같은 생물학적 필요와 욕구, 종교와 법과 같은 문화적 창조물 사이의 상호작용입니다. 역사는 법과 종교가 음식과 성을 형성하는 과정입니다.
인공지능이 문화를 장악하고 이야기와 멜로디, 법과 종교를 생산하기 시작하면 역사의 흐름은 어떻게 될까요? 인쇄기나 라디오 같은 이전 도구는 인간의 문화적 아이디어를 전파하는 데 도움이 되었지만, 그 자체로 새로운 문화적 아이디어를 창조하지는 못했습니다. 인공지능은 근본적으로 다릅니다. 인공지능은 완전히 새로운 아이디어, 완전히 새로운 문화를 창조할 수 있습니다.
처음에 인공지능은 아마도 초기에 학습한 인간의 프로토타입을 모방할 것입니다. 하지만 해가 갈수록 인공지능 문화는 인간이 가보지 않은 곳으로 대담하게 나아갈 것입니다. 수천 년 동안 인간은 다른 인간의 꿈 속에서 살아왔습니다. 앞으로 수십 년 안에 우리는 외계 지능의 꿈 속에서 살아가게 될지도 모릅니다.
인공지능에 대한 두려움은 지난 수십 년 동안 인류를 괴롭혔습니다. 하지만 수천 년 동안 인간은 훨씬 더 깊은 두려움에 시달려 왔습니다. 우리는 항상 이야기와 이미지가 우리의 마음을 조종하고 환상을 만들어내는 힘을 높이 평가해 왔습니다. 따라서 고대부터 인간은 환상의 세계에 갇히는 것을 두려워해 왔습니다.
17세기 르네 데카르트는 악마가 자신을 환상의 세계에 가두어 자신이 보고 듣는 모든 것을 만들어내는 것이 아닐까 두려워했습니다. 고대 그리스에서 플라톤은 한 무리의 사람들이 평생 동굴 안에 묶여 텅 빈 벽을 바라보고 있다는 유명한 동굴의 우화를 들려주었습니다. 바로 스크린입니다. 그 화면에는 다양한 그림자가 투사됩니다. 죄수들은 그곳에서 보이는 환상을 현실로 착각합니다.
고대 인도에서 불교와 힌두교의 현자들은 모든 인간이 환상의 세계인 마야에 갇혀 살았다고 지적했습니다. 우리가 일반적으로 현실이라고 여기는 것은 우리 마음속의 허구에 불과한 경우가 많습니다. 사람들은 이 환상이나 저 환상을 믿기 때문에 전쟁을 벌이고 다른 사람을 죽이고 자신도 기꺼이 죽일 수 있습니다.
AI 혁명으로 우리는 데카르트의 악마, 플라톤의 동굴, 마야와 대면하고 있습니다. 조심하지 않으면 우리는 환상의 장막 뒤에 갇혀서 그 장막을 걷어낼 수도 없고, 심지어 그 장막이 있다는 사실조차 깨닫지 못할 수도 있습니다.
물론 인공지능의 새로운 힘은 좋은 목적으로도 사용될 수 있습니다. 인공지능을 개발하는 사람들이 충분히 이야기하고 있기 때문에 여기서는 더 이상 언급하지 않겠습니다. 저와 같은 역사가와 철학자의 역할은 그 위험성을 지적하는 것이니까요. 하지만 인공지능은 암에 대한 새로운 치료법을 찾는 것부터 생태 위기에 대한 해결책을 찾는 것까지 수많은 방식으로 우리를 도울 수 있는 것은 분명합니다. 우리가 직면한 문제는 새로운 인공지능 도구가 악용되지 않고 선하게 사용될 수 있도록 하는 방법입니다. 그러기 위해서는 먼저 이러한 도구의 진정한 능력을 이해해야 합니다.
1945년 이래로 우리는 핵 기술이 인간을 위해 값싼 에너지를 생산할 수 있지만, 동시에 인류 문명을 물리적으로 파괴할 수도 있다는 사실을 알고 있었습니다. 따라서 우리는 인류를 보호하고 핵 기술이 주로 선한 목적으로 사용되도록 국제 질서 전체를 재편했습니다. 이제 우리는 정신적, 사회적 세계를 전멸시킬 수 있는 새로운 대량 살상 무기에 맞서 싸워야 합니다.
우리는 여전히 새로운 인공지능 도구를 규제할 수 있지만 신속하게 행동해야 합니다. 핵무기는 더 강력한 핵무기를 발명할 수 없지만, 인공지능은 기하급수적으로 더 강력한 인공지능을 만들 수 있습니다. 가장 중요한 첫 번째 단계는 강력한 AI 도구가 공개되기 전에 엄격한 안전 점검을 요구하는 것입니다. 제약회사가 단기 및 장기 부작용을 모두 테스트하기 전에 신약을 출시할 수 없듯이, 기술 회사도 안전성이 확인되기 전에 새로운 AI 도구를 출시해서는 안 됩니다. 신기술에 대한 미국 식품의약국(FDA)과 같은 기관이 필요하며, 이는 어제나 오늘이나 마찬가지입니다.
AI의 공공 배포를 늦추면 민주주의가 더 무자비한 권위주의 정권에 뒤처지지 않을까요? 정반대입니다. 규제되지 않은 AI 도입은 사회적 혼란을 야기하여 독재자에게 이득이 되고 민주주의를 파괴할 것입니다. 민주주의는 대화이며 대화는 언어에 의존합니다. 인공지능이 언어를 해킹하면 의미 있는 대화를 할 수 있는 능력을 파괴하여 민주주의를 파괴할 수 있습니다.
우리는 방금 지구에서 외계 지능과 마주쳤습니다. 인공지능이 우리 문명을 파괴할 수 있다는 것 외에는 인공지능에 대해 아는 것이 많지 않습니다. 우리는 공공 영역에서 무책임한 인공지능 도구의 배포를 중단하고 인공지능이 우리를 규제하기 전에 인공지능을 규제해야 합니다. 그리고 제가 제안하고 싶은 첫 번째 규제는 인공지능이 자신이 인공지능이라는 사실을 공개하도록 의무화하는 것입니다. 내가 누군가와 대화를 나누고 있는데 상대가 인간인지 인공지능인지 알 수 없다면 민주주의는 끝입니다.
이 텍스트는 사람이 생성한 것입니다.
아니면 그런가요?
유발 노아 하라리는 역사학자이자 철학자이며 "사피엔스", "호모 데우스", 어린이 시리즈 "멈출 수 없는 우리"의 저자입니다. 예루살렘 히브리대학교 역사학과 강사이자 사회 공헌 기업 사피엔십의 공동 설립자입니다.
------------
원문 (인공지능)
Fears of artificial intelligence (ai) have haunted humanity since the very beginning of the computer age. Hitherto these fears focused on machines using physical means to kill, enslave or replace people. But over the past couple of years new ai tools have emerged that threaten the survival of human civilisation from an unexpected direction. ai has gained some remarkable abilities to manipulate and generate language, whether with words, sounds or images. ai has thereby hacked the operating system of our civilisation.
Language is the stuff almost all human culture is made of. Human rights, for example, aren’t inscribed in our dna. Rather, they are cultural artefacts we created by telling stories and writing laws. Gods aren’t physical realities. Rather, they are cultural artefacts we created by inventing myths and writing scriptures.
Money, too, is a cultural artefact. Banknotes are just colourful pieces of paper, and at present more than 90% of money is not even banknotes—it is just digital information in computers. What gives money value is the stories that bankers, finance ministers and cryptocurrency gurus tell us about it. Sam Bankman-Fried, Elizabeth Holmes and Bernie Madoff were not particularly good at creating real value, but they were all extremely capable storytellers.
What would happen once a non-human intelligence becomes better than the average human at telling stories, composing melodies, drawing images, and writing laws and scriptures? When people think about Chatgpt and other new ai tools, they are often drawn to examples like school children using ai to write their essays. What will happen to the school system when kids do that? But this kind of question misses the big picture. Forget about school essays. Think of the next American presidential race in 2024, and try to imagine the impact of ai tools that can be made to mass-produce political content, fake-news stories and scriptures for new cults.
In recent years the qAnon cult has coalesced around anonymous online messages, known as “q drops”. Followers collected, revered and interpreted these q drops as a sacred text. While to the best of our knowledge all previous q drops were composed by humans, and bots merely helped disseminate them, in future we might see the first cults in history whose revered texts were written by a non-human intelligence. Religions throughout history have claimed a non-human source for their holy books. Soon that might be a reality.
On a more prosaic level, we might soon find ourselves conducting lengthy online discussions about abortion, climate change or the Russian invasion of Ukraine with entities that we think are humans—but are actually ai. The catch is that it is utterly pointless for us to spend time trying to change the declared opinions of an ai bot, while the ai could hone its messages so precisely that it stands a good chance of influencing us.
Through its mastery of language, ai could even form intimate relationships with people, and use the power of intimacy to change our opinions and worldviews. Although there is no indication that ai has any consciousness or feelings of its own, to foster fake intimacy with humans it is enough if the ai can make them feel emotionally attached to it. In June 2022 Blake Lemoine, a Google engineer, publicly claimed that the ai chatbot Lamda, on which he was working, had become sentient. The controversial claim cost him his job. The most interesting thing about this episode was not Mr Lemoine’s claim, which was probably false. Rather, it was his willingness to risk his lucrative job for the sake of the ai chatbot. If ai can influence people to risk their jobs for it, what else could it induce them to do?
In a political battle for minds and hearts, intimacy is the most efficient weapon, and ai has just gained the ability to mass-produce intimate relationships with millions of people. We all know that over the past decade social media has become a battleground for controlling human attention. With the new generation of ai, the battlefront is shifting from attention to intimacy. What will happen to human society and human psychology as ai fights ai in a battle to fake intimate relationships with us, which can then be used to convince us to vote for particular politicians or buy particular products?
Even without creating “fake intimacy”, the new ai tools would have an immense influence on our opinions and worldviews. People may come to use a single ai adviser as a one-stop, all-knowing oracle. No wonder Google is terrified. Why bother searching, when I can just ask the oracle? The news and advertising industries should also be terrified. Why read a newspaper when I can just ask the oracle to tell me the latest news? And what’s the purpose of advertisements, when I can just ask the oracle to tell me what to buy?
And even these scenarios don’t really capture the big picture. What we are talking about is potentially the end of human history. Not the end of history, just the end of its human-dominated part. History is the interaction between biology and culture; between our biological needs and desires for things like food and sex, and our cultural creations like religions and laws. History is the process through which laws and religions shape food and sex.
What will happen to the course of history when ai takes over culture, and begins producing stories, melodies, laws and religions? Previous tools like the printing press and radio helped spread the cultural ideas of humans, but they never created new cultural ideas of their own. ai is fundamentally different. ai can create completely new ideas, completely new culture.
At first, ai will probably imitate the human prototypes that it was trained on in its infancy. But with each passing year, ai culture will boldly go where no human has gone before. For millennia human beings have lived inside the dreams of other humans. In the coming decades we might find ourselves living inside the dreams of an alien intelligence.
Fear of ai has haunted humankind for only the past few decades. But for thousands of years humans have been haunted by a much deeper fear. We have always appreciated the power of stories and images to manipulate our minds and to create illusions. Consequently, since ancient times humans have feared being trapped in a world of illusions.
In the 17th century René Descartes feared that perhaps a malicious demon was trapping him inside a world of illusions, creating everything he saw and heard. In ancient Greece Plato told the famous Allegory of the Cave, in which a group of people are chained inside a cave all their lives, facing a blank wall. A screen. On that screen they see projected various shadows. The prisoners mistake the illusions they see there for reality.
In ancient India Buddhist and Hindu sages pointed out that all humans lived trapped inside Maya—the world of illusions. What we normally take to be reality is often just fictions in our own minds. People may wage entire wars, killing others and willing to be killed themselves, because of their belief in this or that illusion.
The AI revolution is bringing us face to face with Descartes’ demon, with Plato’s cave, with the Maya. If we are not careful, we might be trapped behind a curtain of illusions, which we could not tear away—or even realise is there.
Of course, the new power of ai could be used for good purposes as well. I won’t dwell on this, because the people who develop ai talk about it enough. The job of historians and philosophers like myself is to point out the dangers. But certainly, ai can help us in countless ways, from finding new cures for cancer to discovering solutions to the ecological crisis. The question we face is how to make sure the new ai tools are used for good rather than for ill. To do that, we first need to appreciate the true capabilities of these tools.
Since 1945 we have known that nuclear technology could generate cheap energy for the benefit of humans—but could also physically destroy human civilisation. We therefore reshaped the entire international order to protect humanity, and to make sure nuclear technology was used primarily for good. We now have to grapple with a new weapon of mass destruction that can annihilate our mental and social world.
We can still regulate the new ai tools, but we must act quickly. Whereas nukes cannot invent more powerful nukes, ai can make exponentially more powerful ai. The first crucial step is to demand rigorous safety checks before powerful ai tools are released into the public domain. Just as a pharmaceutical company cannot release new drugs before testing both their short-term and long-term side-effects, so tech companies shouldn’t release new ai tools before they are made safe. We need an equivalent of the Food and Drug Administration for new technology, and we need it yesterday.
Won’t slowing down public deployments of ai cause democracies to lag behind more ruthless authoritarian regimes? Just the opposite. Unregulated ai deployments would create social chaos, which would benefit autocrats and ruin democracies. Democracy is a conversation, and conversations rely on language. When ai hacks language, it could destroy our ability to have meaningful conversations, thereby destroying democracy.
We have just encountered an alien intelligence, here on Earth. We don’t know much about it, except that it might destroy our civilisation. We should put a halt to the irresponsible deployment of ai tools in the public sphere, and regulate ai before it regulates us. And the first regulation I would suggest is to make it mandatory for ai to disclose that it is an ai. If I am having a conversation with someone, and I cannot tell whether it is a human or an ai—that’s the end of democracy.
This text has been generated by a human.
Or has it?
Yuval Noah Harari is a historian, philosopher and author of “Sapiens”, “Homo Deus” and the children’s series “Unstoppable Us”. He is a lecturer in the Hebrew University of Jerusalem’s history department and co-founder of Sapienship, a social-impact company.
출처 - https://www.economist.com/by-invitation/2023/04/28/yuval-noah-harari-argues-that-ai-has-hacked-the-operating-system-of-human-civilisation
댓글
댓글 쓰기