넥서스_유발하라리

책 읽기 모임에서 유발 하라리의 신간 넥서스를 읽었다.  넥서스라는 단어를 출판사 이름으로나 알았지 제대로 된 의미를 찾아 본 적이 없었다. 넥서스 단어를 찾아보고 나서, 아니 이런 쉬운 단어를 몰랐다니? 나 너무 무식하구나! 싶어 내 주위 사람들에게 물어보았다. "넥서스가 무슨 의미인지 알아?" .... 내 주위 모든 지인들 나와 똑같은 수준임을 알게 되었다.

매일 분량대로 읽어가면서 크게 어렵지 않게 완독 했으나, 이 책을 독후감으로 남겨보는 일은 너무 어렵다. 각 장별 내용 요약이라면, 매일 내가 숙제처럼 해 놓은 밑줄긋기 모음으로 충분하고 각각을 이해하기는 쉬웠다. 그러나 인간과 비유기체의 정보경쟁의 미래를 그려본 내용을 하나의 흐름으로 정리하는게 너무 어렵다(어떻게 이걸 이렇게 연결해서 바라볼 수 있지? 싶은 부분들). 그렇지만 나는 이 책을 한 줄로 요약해 보고 싶다. 한 줄 요약을 해보자면, 이렇다.
"시간이 별로 없긴 하지만, AI의 미래는 여전히 우리의 손에 달려 있다" 

이 책이 담고 있는 방대한 역사적 사실을 저 한문장으로 표현하자니 너무 부족하다. 그러므로 지극히 사적인 감상평을 주절주절 써본다. 넥서스의 부제는  '석기시대부터 AI까지, 정보 네트워크로 보는 인류 역사'이다. 인류사를 세가지 키워드로 정리하고 시작하는데 유발 하라리의 이런 통찰은 늘 놀랍고 신선하다.

이야기를 통한 무한한 연결로 만들어진 사피엔스의 상호주관적 네트워크! 인류 역사는'신화(이야기)',  '문서(기록)', '관료제(질서있게 기록관리)' 로 시작된다. 사피엔스 세계를 유지하기 위해 팔요한 것은 신화(이야기)와 이 네트워크를 유지시키기 위한 목록(예를 들어 차용증 같은)이다. 인간에게 자신들의 신화는 서사구조로 기억하기 쉬운 반면, 기억력의 한계로  그 목록을 다 외울수는 없었으므로 문서(기록)에 남기게 되었다. 문서가 많이 쌓여 찾기가 어려워졌으므로 검색을 위한 질서로 관료제가 등장하였다고 설명한다. 
 
이 인간 네트워크는 진실과 질서유지 사이에서 관료제의 순기능과 역기능을 드러내며 오류를 만들기도 했다. 자정작용의 과정에서 인류는 민주주의라든가 전체주의 세상을 만들기도 했다. 이것을 정보 흐름의 관점에서 보면, 정보의 흐름이 중앙 집중적이였던 전체주의는 결국 종말을 맞이했고, 민주주의의 승리로 끝난 것만 같았다. 그러나 AI의 출현으로 다시 전체주의 AI세상과 실리콘 장막으로 세계가 분열될 위기에 처할지도 모른다. 이제 우리가 해야 할 일은 무엇인가? 지금 우리의 결정이 미래에 미칠 영향을 고려해야 한다. 네트워크의 많은 정렬문제에서 궁극적으로 우선시 해야 할 일은 무엇일지 정의해야 한다. 하라리는 책의 에필로그에서 다음의 문장으로 그 해답을 제시한다.
 

<560쪽>
우리가 현실에 안주하거나 낙담하지 않는다면, 스스로의 힘을 견제하는 균형 잡힌 정보 네트워크를 만들어낼 수 있다. 이는 또 다른 기적의 기술을 발명하거나 이전 세대는 생각하지 못한 기발한 아이디어를 떠올려야 한다는 말이 아니다. 오히려 우리가 지혜로운 네트워크를 구축하기 위해서는, 정보에 대한 순진한 관점과 포퓰리즘적 관점을 모두 버리고, 무오류성이라는 환상에서 벗어나 강력한 자정 장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다. 이것이 이 책의 가장 중요한 메시지가 아닐까 싶다.

 
 
위의 결론을 얻기 위해 석기시대까지  갔다오느라 좀 힘들었지만, 충분히 읽어 볼 만한 좋은 책이다. 내가 이 책을 읽으며 두서 없이 생각해 본 것 중에 몇개 만 추려보았다.

1. AI전체주의 또는 AI제국주의가 도래 할 지도 모르는 위기 앞에서 사피엔스는 서로 협력할 수 있을까?

예전에 '성장의 한계'라는 책을 읽었다. 지구의 기후 위기 때문에 결국 지구는 멸망하게 되는 시나리오만 있음을 경고하는 암울한 책이다. 그 책에서는 교토의정서의 채택과 같은 유엔차원의 세계적 협력 사례가 있었으니 인류에겐 희망이 있다고 끝을 맺었다. 이 책 넥서스처럼 열린 결말이었다. 과연 그런 기적이 일어날 수 있을까 의문이 든다. 
요즘 나는 나와 의견이 다른 사람을 마주했을 때, ‘아 그렇게 생각할 수도 있겠구나!’ 하고 이해해 본다거나, 내 입장을 설명하고 설득시키는 노력을 하고 싶지 않다.  그 입장 차이가 타협의 문제가 아니고 내가 맞고 당신은 틀렸다고 생각하는 주제일 경우 빠른 손절만이 답이라고 생각한다. 저 상대방도 나를 협력의 대상이 아니 적으로 규정할 가능성이 높다. 이렇게 아래 문장 민주주의 중요한 전제가 깨어지는 순간을  자주 목격하게 된다.
 
<486쪽>
시민들이 서로 대화할 수 없고 서로를 정치적 라이벌이 아닌 적으로 여길 때 민주주의는 유지될 수 없다.

그럼에도언제나 외부의 적은 내부의 결속을 다지는 원동력이므로 AI전체주의 세상이 오기 전에 인간은 타협하고 협력의 길을 가게 될까?


2. 이제 인간은 어떻게 될까? 어떤 대비를 해야할까?
나는 대체적으로 기술 발전을 비관적으로 생각해왔다. 더 이상의 기술 발전 없이 그냥 지금 이대로에 만족하며, 전세계인들이 욕망을 접고 절제하는 명상의 길을 가면 어떨까 상상하는 사람이였다. 이 책을 읽고나서는 기술발전에 대한 암울한 미래 걱정이 좀 줄었다. 기술자체는 가치중립적이라 기술이 발전이 꼭 좋은 것도 나쁜 것도 아닌 일이라는 입장을 수용하게  되었다. 또한, 기술 발전과 AI의 진화는 이제 막을수 없어 보이므로 체념한 면도 있다.
그럼, 이제 인간은 어떻게 살아야 할까? 인간보다 높은 지능, 지치지 않는 체력을 가진 AI가 나의 일자리를 뺏는 것은 당연할 것인데, 여전히 신체를 가진 채 먹고 자야하는 인간은 어떻게 될까? 결국 우리에겐 몸만 남겨지려나? 언젠가는 인간들이 반인반AI적 존재가 되어 영생을 누릴지도 모르겠지만, 일단 우리는 몸을 데리고 살아야 한다. 아! 그렇다면 결국 저 첨단의 시대가 오더라도 나를 잘 돌보는 능력이 중요하겠구나라는 생각을 하다가 독서와 운동을 더 열심히 해야겠다는 결론을 내보기도 했다.

3. 거대기업에게 자발적으로 정보를 제공하는 나는 어떻게 살아야 할까? 
SNS의 적극적인 이용자는 아니지만, 기록용 인스타그램 활동, 관심사별로 가입된 카페에 쓰는 글들, 또 매월 독후감을 적어보려고 애쓰는 이 공간에 대한 생각을 해 보았다. 나는 스스로에게 이런 활동을 왜 하고 있는가 수시로 질문 해보는데, 답은 “그냥 하고 싶으니까!“ 였다. 누가 보라고 쓰는것도 아니고 이윤추구의 목적도 없으며 그냥 하고 싶어서 하는 활동이다.
그런데, 나의 사심 없는(?) 활동이 거대기업의 알고리즘 개발에 쓰일 자료가 될 수 있다는 걸 자주 잊고 살았다.  나는 이런 자각을 하고 주춤하게 된다.  나는 선량한(?) SNS이용자라고 생각하는데 진실은 거대기업을 위해 일하는 노동자가 아닐까 싶어서다. 또한 내가 축적해 놓은 기록의 더미들이 언젠가 내 발목을 잡을 덫이 되는게 아닐까 하는 두려움도 있다.  개인정보 유출이나 사생활 노출문제를 내가 자초하고 있는게 아닐까 불안하기도 한다.  SNS를 통해 내가 얻는 이점을 따져보면 이제 하지 말아야지 선언할 수도 없다.
지금 내가 할 수 있는 것은 이걸 인식하는 것 뿐이다. 거대 다국적 기업에 규제와 자정장치가 마련되기 전까지 SNS 역기능의 문제를 망각하지 말아야겠다. 내가 사실은 거대기업의 일개미 일수도 있다는 점과 내가 쓴 내 의견이 언제든 날 공경에 처하게 할수 있음을 꼭 기억하기로 했다.
 
그 외, 내가 믿는 이야기(신화)라든지 민주주의에 대한 현재 우리나라 정치상황이라든지  생각이 머릿속에 넘쳐난다. 이걸 다 정리해 내는 일은 나의 생활에 큰 지장을 주기에 후기는 이렇게 마무리 한다.
 

---

매일 읽고 문장을 정리했기 때문에 이 후기를 완성할 수 있었다. 이제 내 하루에 중요한 루틴이 된 밑줄정리하기와 그 순간의 생각 모음들

<10쪽>
통제할 수 없는 힘을 불러내는 인간의 경향은 개인 심리에서 나오는 게 아니라 대규모로 협력하는 우리 종의 독특한 특징에서 비롯한다. 이 책의 핵심 논지는, 인간은 대규모 협력 네트워크를 구축함으로써 막대한 힘을 얻지만 바로 네트워크를 구축하는 그 방식 때문에 애초에 힘을 지혜롭게 사용하기가 쉽지 않다는 것이다. 즉 우리의 문제는 네트워크 문제다. 더 구체적으로는 정보의 문제다. 정보는 네트워크를 하나로 결속시키는 접착제다.

<25쪽>
..역사에 대한 이런 이분법적 해석은 인간의 모든 상호작용이 억압하는 자와 억압받는 자 사이의 권력투쟁임을 암시한다. 따라서 누군가가 무슨 말을 할 때마다 던져야 할 질문은 “무슨 말입니까? 그게 사실입니까?”가 아니라 “누가 그렇게 말합니까? 누구의 특권을 위한 것입니까?”이다.
🔖권력에 촛점을 맞추는 회의적인 정보관, 마르크스주의나 현대의 우파포퓰리즘이나 사회와 정보에 대한 기본 관점이 유사하다. 트럼프가 또 될줄 몰랐는데, 이 시점에 포퓰리스트들이 궁지에서 벗어나기 위한 방법을 읽다보니 미래가  보이는 듯해서 무섭다.

1.정보란 무엇인가?
<39쪽>
이 책은 인간 사회가 과거에 어떠했고 앞으로 어떻게 될 것인지 알아보는 역사책이므로, 역사적 맥락에서 정보의 정의와 역할이 무엇인지에 초점을 맞출 것이다.

<43쪽>
이 책의 입장은 정보의 대부분은 현실을 재현하려는 시도가 아니며 정보를 정의하는 기준은 완전히 다른 무언가라는 것이다. 인간 사회는 물론 다른 생물 시스템과 물리적 시스템에서도 정보의 대부분은 아무거도 나타내지 않는다.

<49쪽>
정보는 진실과 딱히 관련이 없으며, 정보가 역사에서 하는 역할은 실존하는 현실을 그대로 재현하는 것이 아니다. 오히려 정보가 하는 일은 별개의 것들을 하나로 묶어서 연인이든 제국이든 새로운 현실을 만들어내는 것이다. 정보의 결정적인 특징은 재현이 아니라 연결이며, 따라서 정보란 서로 다른 지점들을 네트워크로 연결하는 무언가다.

<57쪽>
오히려 사피엔스의 성공 비결은 정보를 활용하여 많은 개인을 연결하는 일에 탁월한 재능을 발휘한 것이다. 하지만 안타깝게도 이 능력은 거짓, 오류 환상을 믿는 것과도 밀접한 관련이 있다.

2.이야기 : 무한한 연결

<59쪽>
사피엔스 무리들 사이의 협력이 가능해진 것은 허구적 이야기를 말하고, 믿고, 그런 이야기에 깊이 감동받을 수 있게 되면서부터였다.

<61쪽>
사람들은 자신이 특정인과 연결된다고 생각하지만 실제로는 그 사람에 대한 이야기와 연결되는 것이고, 이야기와 실제 인물 사이에는 대개 거대한 간극이 존재한다.

<63쪽>
실제 예수는 설교를 하고 병자를 치료하면서 소규모 추종자를 모은 전형적인 유대인 설교자였다. 하지만 사후에 예수는 역사상 가장 인상적인 브랜딩 작업의 대상이 되었다.

<66쪽~67쪽>
우리가 아는 한, 이야기가 등장하기 전에는 우주에 두 가지 차원의 현실만 있었다. 이야기가 여기에 세 번째 차원을 추가했다.
-객관적 현실 : 돌과 산, 소행성, 우리가 그 존재를 알든 모르든 관계없이 존재하는 것들
-주관적 현실 : 고통과 즐거움, 우리가 그것을 인지하는 순간 생김
-상호주관적 현실 : 법이나 신, 국가나 기업, 화폐, 수많은 사람들의 마음을 연결하는 곳에 존재. 정보를 교환할때 상호주관적 현실이 생긴다.

🔖이야기를 지어내고 믿는 존재, 사피엔스와 그들의 네트워크 환경을 유식한 말로 표현하면 ‘상호주관적 현실’

<85쪽>
인간 정보 네트워크의 역사는 승리의 진군이라기보다는 진실과 질서 사이에서 균형을 맞추는 아슬아슬한 줄타기였다…. 우리는 이미 수만 년 전에 이야기를 발명했을때 이 교훈을 얻었다. 그리고 인류가 두 번째 위대한 정보 기술인 ‘문서’를 생각해냈을 때 이 교훈을 다시 얻게 되었다.

3.문서 : 종이호랑이의 위협

<93쪽>
우리 뇌에 저장할 수 있는 민족주의 시나 신화와 달리, 복잡한 조세와 행정 시스템이 제대로 작동하기 위해서는 독특한 비유기적 정보 기술이 필요하다. 이 기술이 바로 문서다.

<94쪽>
구체적으로 말하면, 문서는 상호 주관적 현실을 만들어내는 방법을 바꾸었다. 구전 문화에서는 많은 사람들이 머리로 기억하여 입에서 입으로 전달하는 이야기를 통해 상호주관적 현실이 생겨났다. 결과적으로 뇌 용량이 인간이 창조할 수 있는 상호주관적 현실의 종류를 제한했다.. 하지만 문서를 작성함으로써 이런 한계를 넘을 수 있었다… 문서는 결국 컴퓨터가 사용하게 될 선례와 모델을 제공했다. 상호주관적 현실을 만들어내는 컴퓨터의 힘은 따지고 보면 점토판과 종이가 가진 힘의 연장이다.

<97쪽>
문서는 특정 유형의 정보를 인간의 뇌보다 훨씬 잘 기록했다. 하지만 새롭고 매우 까다로운 문제가 나타났다. 바로 ‘검색’이다.

<98쪽>
기록 관리자는 세상의 새로운 질서를 고안해야 한다. 그 질서를 관료제라고 부른다. 대규모 조직에 속한 사람들이 검색 문제를 해결하여 더 크고 강력한 정보 네트워크를 만들어낼 수 있었던 비결이 바로 관료제였다.

<123쪽>
정보 네트워크는 진실을 최대화하기 보다는 진실과 질서 사이의 균형을 찾으려고 한다. 관료제와 신화는 모두 질서를 유지하는 데 필수적이며, 둘 다 질서를 위해 진실을 기꺼이 희생시킨다.

🔖 이야기와 함께 인간사회 네트워크를 유지시키기 위한 목록들(예산 회계 숫자들)을 다 외울수는 없기에 문서(기록)에 남기게 되었다.  문서가 많이 쌓여 찾기가 어려워졌으므로 검색을 위한 질서로 관료제가 등장하였다는얘기. 작가가 인간 역사의 발전과정을 세가지 키워드만으로 설명한 점이 신선했다.
이야기 / 문서(기록) / 관료제(질서있게 기록관리)
🔖관료제는 순기능과 역기능 존재 할 수 밖에 없는데,  이를 극복하려면(오류 해결하려면)? 다음장으로 이어짐

4. 오류 : 무오류성이라는 환상

<150쪽>
랍비들이 <구약>을 선별했다는 사실을 대부분의 유대인이 잊었듯이, 대부분의 기독교인들도 교회 공의회가 (신약>을 편찬했다는 사실을 잊고 단순히 그것을 오류 없는 하나님 말씀으로 여기게 되었다. 하지만 그 거룩한 책이 권위의 궁극적 원천으로 간주된 반면, 책을 선별하는 과정에서 실질적인 힘을 쥐게 된 것은 선별 기관이었다.
… 오류 없는 초인적 기술에 모든 권위를 몰아주려는 시도는 교회라는 새롭고 매우 강력한 인간의 기관을 등장시켰다.
….
해석의 문제가 점점 중요해지면서 거룩한 책들과 교회 사이의 힘의 균형이 점점 교회 쪽으로 기울었다.

<153쪽>
중세 유럽인들은 그 안에 갇혀 있었고, 텍스트에 관한 텍스트에 관한 텍스트가 그들이 일상생활, 생각, 감정을 믿었다.

<155쪽>
정보 네트워크의 역사에서 근대 초 유럽에서 일어난 인쇄혁명은 가톨릭교회의 정보 네트워크 독점을 깨뜨린 승리의 순간으로 평가된다….. 하지만 인쇄술은 과학 혁명의 근본 원인이 아니었다. 인쇄기가 한 일은 텍스트를 충실하게 복제한 것뿐이다. … 사실 인쇄술은 과학적 사실만이 아니라 종교적 환상, 가짜 뉴스, 음모론도 빠르게 확산시켰다. 후자이 가장 악명 높은 사례가 아마 사탄을 숭배하는 마녀들이 세계적인 음모를 꾸미고 있다는 믿음일 것이다. 이 믿음은 근대 초반에 유럽을 휩쓴 마녀사냥 광풍으로 이어졌다.

<163쪽>
마녀는 상호주관적 현실이 되었다. 돈의 경우와 마찬가지로, 마녀에 대한 정보를 교환하면서 마녀가 현실이 된 것이다.

🔖근대 초 유럽의 마녀사냥의 배경을 주로 사회 혼란기의 약자에 대한 공격 또는 무지때문이였다고 생각해왔다(읽어왔다). 물론 맞는 얘기지만, 이 책을 읽으면서 인쇄술이 음모론의 확산에 지대한 영향을 미친 것과 상호주관적 현실에서 마녀가 작동된 방식을 새롭게 인식하게 된 것 같다.(벌거벗은 세계사 마녀편을 볼 때도 얼마나 잔인한 일이 있었는가를 중점으로 봐서 그런지 ’마녀의 망치‘ 책의 존재는 완전히 잊고 있었다는 걸 깨달았다.)

<167쪽>
마녀사냥은 유해한 정보의 확산이 부른 재앙이었다. 마녀사냥은 어떤 문제가 정보 때문에 발생하여 더 많은 정보를 통해 악화되는 현상의 대표적 사례다.

<169쪽>
<왕립 학회 철학 회보>에 논문 한 편이 제출되면 편집자들이 가장 먼저 던지는 질문은 “얼마나 많은 사람들이 이 논문을 사서 볼까?”가 아니라 “그것이 사실이라는 증거가 있는가?”였다.

<170쪽>
과학 기관은 기관 자체의 오류를 찾아내 고치는 강력한 자정 장치를 토대로 권위를 얻었다. 과학혁명의 원동력은 인쇄술이 아니라 바로 이런 자정 장치였다.

<186쪽>
그렇다면 자정 장치는 인간의 정보 네트워크를 오류와 편향으로부터 지켜줄 마법의 탄환일까? 불행히도 상황은 훨씬 더 복잡하다…. 과학 기관이 강력한 자정 장치를 갖출 수 있었던 이유는 사회질서를 유지하는 어려운 임무를 다른 기관에 맡기기 때문이다… 경찰, 군대, 정당, 정부처럼 사회질서를 유지하는 임무를 맡는 기관들에 그런 장치가 존재할 수 있을까?

5.결정: 민주주의와 전체주의의 간략한 역사

<190쪽>
독재는 강력한 자정 장치가 없는 중앙 집중화된 정보 네트워크다. 반면 민주주의는 강력한 자정 장치를 갖춘 분산된 정보 네트워크다.

<201쪽>
정부에 진실 추구를 감독하라고 하는 것은 여우에게 닭장을 지키라고 하는 꼴이다. 진실을 발견하기 위해서는 두 가지 다른 방법에 의존하는 것이 더 낫다. 첫째, 학술기관, 언론, 사법부가 자체적으로 갖추고 있는 자정 기능에 의존하는 것이다. … 둘째, 각기 다른 방식으로 진실을 추구하는 독립적인 기관을 여럿 두고 서로를 견제하며 잘못을 바로잡게 하는 것이다.

<205쪽>
즉 포퓰리스트는 자신만이 국민을 대변하며 의견이 다른 사람은 누구든(국가 관료든, 소수집단이든, 심지어 과반수의 투표자일지라도)허위의식을 가지고 있거나 진짜 국민이 아니라고 주장하는 사람들이다…
포퓰리즘은 ‘국민의 힘’이라는 민주주의 원리를 따르는 것처럼 보이지만 실제로는 민주주의를 유명무실하게 만들고 독재 정권을 수립하려고 한다.

<207쪽>
이는 전체적으로 인간에 대한 꽤나 불쾌한 시각이지만, 그럼에도 많은 사람들에게 매력적으로 다가오는 이유가 두 가지 있다. 첫째, 이처럼 모든 상호작용을 권력투쟁으로 환원하면 현실이 단순해져서 전쟁, 경제 위기, 자연재해 등 아무리 복잡한 사건도 쉽게 해설 할 수 있다. .. 둘째, 포퓰리즘적 관점이 매력적인 이유는 때때로 맞기 때문이다. 모든 인간의 기관은 실제로 오류를 범하고 어느 정도 부패한다. 일부 판사는 뇌물을 받고, 일부 언론인은 의도적으로 대중을 오도한다. …이 때문에 모든 기관에는 자정 장치가 필요한 것이다.

<208쪽>
하지만 일단 사람들이 권력이 유일한 현실이라고 생각하게 되면, 이 모든 기관에 대한 신뢰가 무너지고, 민주주의는 붕괴하며, 강력한 지도자가 모든 권력을 장악 할 수 있다.

<205쪽>
즉 포퓰리스트는 자신만이 국민을 대변하며 의견이 다른 사람은 누구든(국가 관료든, 소수집단이든, 심지어 과반수의 투표자일지라도)허위의식을 가지고 있거나 진짜 국민이 아니라고 주장하는 사람들이다…
포퓰리즘은 ‘국민의 힘’이라는 민주주의 원리를 따르는 것처럼 보이지만 실제로는 민주주의를 유명무실하게 만들고 독재 정권을 수립하려고 한다.

<224쪽>
수백만 명 규모의 민주주의는 현대에 와서 대중매체가 대규모 정보 네트워크의 성격을 바꾸었을 때 비로소 가능해졌다.

<234쪽>
언제나 그렇듯이 우리는 기술 결정론을 조심해야 한다. 즉 대중 매체의 등장이 대규모 민주주의로 이이졌다고 단정해서는 안 된다. 대중매체는 대규모 민주주의를 가능하게 만들었을 뿐, 필연으로 만들지 않았다.

<234쪽>
전체주의 체제는 무오류성을 전제로 하며, 국민의 삶 전체를 완전히 통제하려고 한다.
🔖포퓰리즘 부분에 줄을 많이 그었다. 내가 그 동안 막연하게 생각했던 포퓰리즘의 개념이 좀 더 구체화되었다. 현대사회 민주주의 국가에 사는 사람으로서 현재 시점에서 포퓰리스트(모든 것은 권력에 대한 투쟁이라고 믿는 사람들)는 어떤 모습으로 나타나는가. 우리의 자정장치는 제대로 작동하는가? 생각해 보았다…….

<242쪽>
현대 기술은 대규모 민주주의를 가능하게 했을 뿐만 아니라 대규모 전체주의도 가능하게 했다.

<251쪽>
소련의 집단화 역사는 좀 더 깊이 들여다 볼 가치가 있다. 왜나하면 그것은 유럽의 마녀사냥 광풍처럼 인률 역사에서 앞서 일어난 재앙들과 닮은 점이 있는 비극인 동시에 테이터의 ‘과학’을 맹신하는 21세기 기술이 어떤 위험을 야기할지 예고하는 사건이기 때문이다.

<263쪽>
초집중화된 정보 네트워크에는 큰 단점도 몇 가지 있다. 정보가 오직 공식 채널을 통해서만 흐를 수 있기 때문에 공식 채널이 막히면 정보가 흐를 수 있는 대체 수단이 없다. 게다가 공식 채널은 자주 막힌다. 공식 채널이 자주 막히는 한 가지 흔한 이유는 두려워하는 부하들이 나쁜 소식을 상관에게 숨기기 때문이다… 공식 채널이 막히는 또 하나의 흔한 이유는 질서 유지 때문이다.
🔖 체르노빌원전 폭발 당시 소련정부의 정보 차단 사례와 미국 스리마일섬의 원자로 사고 사례

<272~273쪽>
일련의 재앙을 보면서 당신은 스탈린주의는 제대로 작동할 수 없는 체제였다는 결론을 내릴지도 모른다…. 하지만 이런 결론은 상황을 오판하는 것이다.
🔖전체주의네트워크가 항상 민주주의네트워크보다 못한것도 아니고, 성공적인 정치체제였다고 설명, 또 특정시기엔 넓은 제국을 통치했고, 서구 예술가나 사상가들이 스탈린주의를 지지하기도 했음

<274쪽>
스탈린 주의가 진실을 무시했기 때문에 실패했다거나, 결국 실패했으니 다시는 그런 종류의 체제가 등장할 수 없다고 생각한다면 순진한 것이다. 질서를 듬뿍 넣고 진실은 약간만 첨가해도 정보 시스템은 잘 굴러갈 수 있다. 스탈리주의와 같은 체제가 끼치는 도덕적 피해를 혐오한다면, 그런 체제가 비효율적이기 때문에 필패할 것이라는 생각으로 손 놓고 있어서는 안 된다.

<275쪽>
기술은 단지 새로운 기회를 열어줄 뿐이며, 어느 쪽으로 갈지는 우리에게 달렸다.

<277~278쪽>
예상치 못한 장애물들이 있었지만 미국과 일본 등 민주주의 국가들은 훨씬 역동적이고 포용적인 정보 시스템을 구축한 덕분에 훨씬 많은관점을 수용하면서도 붕괴하지 않을 수 있었다. 이는 너무도 놀라운 성과라서 많은 사람들은 민주주의가 전체주의에 최종적으로 승리했다고 생각했다. 이 승리는 대개 정보 처리상의 근본적인 이점이라는 측면에서 설명되었다. … 따라서 21세기가 시작될 무렵만 해도 대세는 분산된 정보 네트워크와 민주주의로 기운 것처럼 보였다.

<279쪽>
인류가 21세기의 두 번째 분기에 접어드는 지금, 우리가 해야 할 핵심 질문은 민주주의와 전체주의가 현재의 정보혁명이 제시하는 위협과 기회를 얼마나 잘 다룰 것인가다. 새로운 기술이 한 유형의 체제에 더 유리할까? 아니면 세계가 이번에는 철의 장막이 아닌 실리콘 장막으로 다시 한번 분열될까?
🔖민주주의와 전체주의를 현재 시점에서 보면, 민주주의의 완벽한 승리다. 정보의 흐름이 중앙에 집중되는 사회시스템은 결국 붕괴할 수 밖에 없기 때문이다. 분산된 네트워크와 다양한 의견의 교환으로 포용적이고 역동적인 시스템을 구축할때 사회는 안정적으로 작동한다(1960년대를 겪은 미국 일본처럼).
🔖그러나 저자의 지적대로 우리는 민주주의가 승리할 수 밖에 없었다고 순진하게 믿어서는 안되겠다. 지금은 실패한 스탈린주의에서의 계획경제시스템도 한때는 미래를 지배할 새로운 정치체제로 추앙받아온 역사가 있기 때문이다.
🔖민주주의와 전체주의의 사례가 앞으로 다가올 미래엔 인간 vs AI 방식으로 나타날 수도 있겠다는 생각에 두려움이 앞섰다. 21세기 시작무렵엔 스마트폰도 없었던걸 생각하면,, 당장 5년뒤도 상상불가능한 엄청난 일이 생길 것만 같다. 이어지는 다음장이 공포로 다가온다.

6.새로운 구성원 : 컴퓨터는 인쇄술과 어떻게 다른가?

<286쪽>
인쇄기와 라디오는 인간이 조작해야 하는 수동적인 도구였던 반면, 컴퓨터는 이미 인간의 통제와 이해를 벗어나 사회, 문화, 역사를 주도적으로 만들어갈 수 있는 능동적인 행위자가 되고 있다.

<289쪽>
우린 소셜 미디어 알고리즘이 인쇄술이나 라디오 장치와는 근본적으로 다르다는 사실을 이해해야 한다. .. 알고리즘은 인쇄기보다는 신문 편집자에 더 가까웠다.

<291쪽>
사람들은 무엇을 볼지 스스로 선택하고 있지 않았다. 알고리즘이 대신 선택해주고 있었다. 하지만 알고리즘은 왜 자비가 아니라 분노를 추천하기로 결정했을까?

<292쪽>
알고리즘은 수백만 사용자들을 대상으로 실험하면서 분노가 참여도를 높이다는 사실을 알아냈다. 인간은 자비를 가르치는 법문보다 증오로 가득한 음모론에 더 끌리는 경향이 있다. 따라서 알고리즘은 사용자 참여도를 늘이기 위해 분노를 퍼뜨리는 운명적인 결정을 내렸다.

<293쪽>
기계가 이렇게 스스로 학습하고 행동할 수 있는 능력을 보이는 것이 AI의 특징이다.

<294~295쪽>
사람들은 자주 지능을 의식과 혼동하고, 그 결과 많은 사람들이 의식이 없는 존재는 지능을 가질 수 업다는 결론으로 도약한다. 하지만 지능과 의식은 매우 다르다.

<296쪽>
컴퓨터에 의식이 생길지 여부는 지금 우리가 당면한 문제에는 중요하지 않다. “사용자 참여를 최대화하라”와 같은 목표를 추구하고 목표 달성에 도움이 되는 결정을 내리는 데 의식이 꼭 필요하지는 않다. 지능이면 족하다.

<299쪽>
이 책의 논지는 스스로 목표를 추구하고 결정을 내릴 수 있는 컴퓨터의 출현이 정보 네트워크의 기본 구조를 변화시킨다는 것이다.

<301쪽>
이전 네트워크에서는 구성원이 인간이었고, 모든 사슬은 인간을 거쳐야 했으며, 기술은 인간을 연결하는 역할만 했다. 새로운 컴퓨터 기반 네트워크에서는 컴퓨터 자체가 구성원이고, 인간을 거치지 않는 컴퓨터와 컴퓨터의 연결로만 이루어지는 사실이 존재한다.

<302쪽>
컴퓨터가 금융시장을 지배하고 우리가 이해할 수 없는 완전히 새로운 금융 도구를 발명하는 시점이 올지도 모른다.

<306쪽>
인간인 척 하는 컴퓨터와 정치 토론을 하면 우리에게는 두 가지 면에서 손해다. 첫째, 봇은 설득되지 않는 존재라서 선전 봇의 의견을 바꾸기 위해 시간을 들이는 것은 무의미하다. 둘째, 컴퓨터와 이야기를 하면 할수록 우리에 관한 더 많은 사실이 공개되고 그 결과 봇이 자신의 주장을 가다듬어 우리의 생각에 영향을 행사하기가 더 쉬워진다.

<306쪽>
2010년대에는 소셜 미디어가 사람들의 관심을 장악하기 위한 전투장이었다. 하지만 2020년에는 전투의 목표가 관심에서 친밀감으로 이동할 가능성이 높다.

<309쪽>
우리는 문화라는 고치 안에 갇혀서 문화라는 프리즘을 통해 현실을 경험한다. 우리의 정치적 견해는 언론 보도와 친구들 의견의 영향을 받아 형성된다. 우리의 성 습관은 동화와 영화의 영향을 받는다. .. 아주 최근까지만 해도 우리가 살아가는 문화적 고치는 인간의 손으로 지어졌다. 하지만 앞으로 점점 더 많은 부분을 컴퓨터가 설계하게 될 것이다.

<310쪽>
컴퓨터는 우리를 죽이기 위해 킬러 로봇을 보낼 필요가 없다. 인간들이 방아쇠를 당기도록 조종하기만 하면 된다.

<311쪽>
사람들이 전쟁을 벌여 타인을 죽이고 자신의 목숨까지 기꺼이 내던지는 이유는 이런저런 허상을 믿기 때문이다… 컴퓨터 혁명은 우리를 플라톤의 동굴, 마야, 데카르트의 악마와 마주하게 하고 있다.

<314쪽>
비유기체인 컴퓨터들이 지배하는 정보 네트워크는 우리의 상상할 수도 없는 방식으로 다를 것이다. 결국 우리는 유기체이므로 우리의 상상력 또한 유기적인 생화학 과정의 산물이며, 유전적으로 프로그래밍된 생물학적 드라마를 넘어설 수 없다.

<316쪽>
유기체는 서로 뚜렷이 구별되는 개체들이고 종이나 속과 같은 집단으로 분류할 수 있다. 하지만 컴퓨터의 경우 한 개체가 어디서 끝나고 또 다른 개체가 어디서 시작되는지, 그리고 어떻게 분류해야 하는지 결정하는 것이 점점 어려워지고 있다.

<317쪽>
AI는 인간 수준의 지능을 향해 발전하고 있지 않다. 그것은 완전히 다른 종류의 지능으로 진화하고 있다.

<319쪽>
지금 무슨 일이 일어나고 있는지 알고 있어야 한다. 우리는 컴퓨터 코드를 작성할 때 단순히 제품을 설계하고 있는 것이 아니다. 우리는 정치,사회, 문화를 재설계하고 있는 것이고, 그러므로 정치, 사회, 문화에 대해 잘 이해하고 있어야 한다. 또한 우리가 하고 있는 일에 대해 책임감을 가져야 한다.

🔖2020년이 되었을 때, 만화 ‘2020 원더키디’ 같은 세상이 아님에 감사했다. 그리고 4년밖에 안지났는데 AI가 빅브라더가 되어 나를 감시 조정하는 세계의 도래가 코앞에 와 있어 소름끼친다.
🔖 산업혁명기에 영국 노동자들은 자신을 착취하는 기계를 부숴버렸다. 러다이트운동의 의미는 기계파괴만이아니였지만, 나는 언젠가는 슈퍼맨이 나타나서 서버의 전원을 꺼서 인간을 구해주길 소망할 것 같다.
🔖 오늘 분량 읽으면서 엄청난 밑줄을 정리하느라 시간을 많이 썼다. 생각지도 못한 부분이 많았는데, 특히 인공지능의 의식에 대한 부분이 그랬다. 막연히 인공지능이 의식을 가진 존재가 되는 것을 상상했는데, 이건 유기체인 인간의 상상일뿐. 비유기체인 컴퓨터의 미래는 상상불가.
🔖 아무튼, 현재 소설미디어를 이용하는 평범한 개인인 나는 개발자들에게 제발 책임감을 가지라고 말하고 싶다.

7.집요하게 : 네트워크는 항상 켜져 있다.

<335쪽>
우리에 대해 알려면 선의를 가진 관료 조직도, 억압적인 관료 조직도 두 가지 일을 해야 했다. 첫째는 우리에 대한 많은 데이터를 모으는 것이다. 그리고 둘째는 그 모든 데이터를 분석하여 패턴을 파악하는 것이다.

<340쪽>
네트워크는 우리가 뭘 하고 무슨 말을 하는지 훨씬 알아내기 쉽다. 우리 스스로가 네트워크에 데이터를 제공하는 정보원이다.

<344쪽>
바라건대 우리가 알고리즘의 파괴적인 역량을 규제하고 긍정적인 잠재력을 활용할 수 있었으면 좋겠다.

<366쪽>
설령 네트워크가 선의를 가지고 있다 해도, 항상 ‘켜져’ 있다는 사실 자체가 인간과 같은 유기체에는 해가 될 수 있다. 연결을 끊고 휴식을 취할 기회를 빼앗기 때문이다. 유기체는 쉴 기회가 전혀 없으면 쇠약해져 죽는다.

<367쪽>
컴퓨터 네트워크가 사회를 완전히 장악하는 것을 막아야 하는 이유는 단지 휴식을 위해서만이 아니다. 브레이크가 필요한 훨신 더 중요한 이유는 네트워크를 바로잡을 기회를 갖기 위해서다.

8. 오류 가능성 : 네트워크는 자주 틀린다.

<384쪽>
<<전쟁론>>은 전쟁을 이해하는 합리적인 모델을 세웠으며 지금도 널리 받아들여지는 군사이론이다. 이 이론의 핵심은 “전쟁은 수단이 다를 뿐 정치의 연장이다”라는 것이다. 즉 전쟁은 감정의 폭발도, 영웅적인 모험도, 신의 징벌도 아니다. 전쟁은 심지어 군사 현상도 아니다. 오히려 전쟁은 정치적 도구다.

<385~386쪽>
사실 장기적인 관점에서 보면 나폴레옹의 승리는 프랑스가 영구적으로 쇠퇴하는 길을 닦았다. 수 세기 동안 프랑스는 지정학적으로 가장 영향력 있는 국가였는데, 이는 무엇보다도 이탈리아와 독일이 통일 된 정치적 실체로 존재하지 않았기 때문이다.
🔖나폴레옹 제국이 확장되면서 근대 민족주의와 국민주권을 독일과 이탈리아에 영향을 줌, 통일 된 독일과 이탈리아가 생겨남, 프랑스와 비슷한 강국이 생겨남

<387쪽>
나폴레옹과 조지 w 부시 모두 정렬 문제의 희생자였다. 그들의 단기적인 군사 목표가 자국의 장기적인 지정학적 목표에 부합하지 않았던 것이다. 우리는 클라우제비츠의 전쟁론을 ‘승리의 극대화’는 ‘이용자 참여의 극대화’만큼이나 근시안적인 목표라는 경고로 이해할 수 있다.
🔖정렬문제= 목표에 부합하지 않는 문제

<388쪽>
정치적 목표에 부합하지 않는 전술적 전략적 승리를 추구하는 것은 합리적이지 않다. 그런데 문제는, 군대는 관료주의 성격 때문에 그런 비합리성에 빠지기 쉽다는 것이다. …눈앞에 주어진 임무에 집중하는 관료들은 자신의 행동이 미치는 광범위한 영향을 인지하지 못하기 쉽고, 자신의 행동이 사회의 더 큰 이익에 부합하는지 따져보기 어렵다.

<389쪽>
정렬 문제가 컴퓨터 네트워크의 맥락에서 특히 위험한 이유 중 하나는 이 네트워크가 이전의 어떤 관료제보다 강력해질 가능성이 있기 때문이다. 초지능을 지닌 컴퓨터들의 목표가 인간이 설정한 목표에 부합하지 않을 경우 인류가 한 번도 겪어보지 못한 규모의 재앙이 일어날지도 모른다
🔖보스트롬의 사고 실험, 클립공장 설립하여 초지능 컴퓨터에게 클립 최대 생산을 지시했을때의 결과, 컴퓨터는 일단 인간을 모두 제거함

<394쪽>
컴퓨터 네트워크는 우리의 통제를 벗어날 수 있기 때문에, 잘못된 목표를 설정할 경우 우리가 그 실수를 발견할 때쯤이면 돌이킬 수 없는 상황이 되어 있을 가능성이 높다.
🔖컴퓨터 네트워크의 궁극적 목표 합의 불가능함

<399쪽>
실제 역사적 상황에서 누군가가 살인을 저지르려 할 때 가장 먼저 밟는 단계는 그 피해자를 인류라는 보편적 공동체에서 배제하는 것이다.

<401쪽>
내집단과 외집단은 상호주관적 현실이고, 이를 정의하는 기준은 대개 어떤 신화다. 따라서 보편적인 합리적 법칙을 추구하는 의무론자들은 흔히 어떤 지역적 신화의 포로가 된다.

<402쪽>
고통을 느낄 수 있는 능력을 기준으로 내집단을 정의하는 것은 도덕성의 근거를 객관적이고 보편적인 현실에서 찾는 것이다…. 하지만 이 방향으로 가다보면 우리는 의도치 않게 의무론 진영을 버리고 그들의 경쟁자인 공리주의 진영으로 가게 된다.

<402쪽>
의무론자들이 내재적으로 선한 보편 법칙을 찾으려고 고국분투한다면, 공리주의자들은 고통과 행복에 미치는 영향을 기준으로 행동을 판단한다… 영국 철학자 제러미 벤담은 세상의 고통을 최소화하고 행복을 극대화하는 것만이 유일하게 합리적인 궁극적 목표라고 말했다.

<405쪽>
하지만 고통의 저울이 비등비등한 역사적 상황에서는 공리주의가 힘을 쓰지 못한다.
🔖코로나19 팬데믹 초기 격리자의 고통과 방역의 효용성, 고통의 점수화하기 어려움

<407쪽>
공리주의의 위험은 미래의 유토피아를 굳게 믿음으로써 지금 끔찍한 고통을 가하는 데 아무런 거리낌이 없어진다는 데 있다. 실제로 이것은 수천 년 전 종교가 발견한 수법이다. 이생에서 죄를 지어도 사후에 구원받을 수 있으니 괜찮다는 것이다.

🔖정렬문제(목표달성에 부합하지 않는 문제?) 용어가 와닿지 않았다. 컴퓨터에게 정확한 목표를 지시하기 위해서는 우리가 원하는 궁극의 지향점이 무엇인지 정의부터 해야되겠다.
🔖궁극의 지향점 설정을 위해 철학사를 검토해볼때, 의무론과 공리주의 모두 철학적 이론은 심플했지만 역사의 장면에서는 적용에 고려할 사항이 너무 많다. 의무론의 보편적 선은 내집단과 외집단으로 나눠질 때 상호주관적 현실 앞에서 무너진다.  행복을 우선시하는 공리주의도 실제 현실에서는고통의 정도를 측정해내기 어렵다.
🔖정확하고 오류없는 목표를 설정하는 일부터가 문제다.

<418쪽>
수많은 연구는 컴퓨터도 대개 뿌리 깊은 자체 편향을 가지고 있다는 사실을 보여주었다. 컴퓨터는 생물학적 존재가 아니며 의식도 없지만, 디지털 마음과 비슷한 무언가를 가지고 있으며, 심지어는 일종의 상호 컴퓨터 신화도 가지고 있다. 컴퓨터들도 얼마든지 인종차별주의자, 여성혐오자, 동성애 혐오자 반유대주의자일 수 있다.

<420쪽>
알고리즘들은 학습에 사용된 데이터에서 인종차별적이고 여성 혐오적인 편향을 스스로 습득했다.

<430쪽>
결론적으로 새로운 컴큐너 네트워크 자체는 나쁜 것도 좋은 것도 아니다. 우리가 확실하게 아는 사실은 그 네트워크가 우리와는 이질적인 성격을 가지고 있으며 오류를 범할 것이라는 점뿐이다. 따라서 우리는 탐욕이나 증오 같은 우리에게 익숙한 인간의 약점 외에 우리가 모르는 낯선 오류까지도 점검할 수 있는 기관을 만들 필요가 있다. 이 문제에 대한 기술적 해법은 존재하지 않는다. 이것은 오히려 정치적으로 풀어야 할 문제다.


제3부 컴퓨터 정치
9.민주주의: 우리는 계속 대화할 수 있을까?

<433쪽>
새로운 기술은 종종 역사적 재앙으로 이어지는데, 이는 그 기술이 본질적으로 나빠서가 아니라, 인간이 그것을 지혜롭게 사용하는 방법을 학습하는 데는 시간이 걸리기 때문이다.

<439쪽>
컴퓨터 정치에 대한 입문용 설명은 가능한 한 핵심만 간단하게 전달해야 한다. 전문가들은 당연히 평생을 바쳐 세부적인 내용을 다루어야 하지만, 나머지 사람들은 민주주의가 따를 수 있고 따라야 하는 기본 원리들을 이해하는 것이 중요하다. …. 시민들은 이 원리들이 컴퓨터 시대의 새로운 현실에도 지켜지도록 요구해야 한다.

<439쪽>
첫 번째 원리는 선의다. 컴퓨터 네트워크가 나에 대한 정보를 수집한다면 그 정보를 나를 조종하기 위해서가 아니라 나를 돕기 위해 사용해야 한다.
🔖주치의와 나의 관계, 내 의료정보를 다 아는 주치의는 수탁받은 내 정보를 윤리적으로 관리해야 함

<441쪽>
전체주의 감시 체제의 등장으로부터 민주주의를 보호할 두 번째 원리는 분권화다. 민주주의 사회는 정보가 한 곳에 집중되는 것을 절대 허용해서는 안 된다.
🔖정부, 법원, 언론, 학계 민간기업 , 비정부기관이 자정작용의 균형을 이뤄야 함

<442쪽>
세 번째 민주주의 원리는 상호주의다. 민주주의 국가가 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 감시도 동시에 강화해야 한다.
🔖상호감시를 통한 자정 기능 유지 필요함

<443쪽>
네 번째 민주주의 원리는 감시 시스템에 항상 변화와 휴식의 여지를 남겨야 한다는 것이다.
🔖너무 경직되지도 너무 유연하지도 않게..

<446쪽>
새로운 정보 기술은 감시 외에도 다른 방법으로 민주주의에 해를 끼칠 수 있다. 두 번째 위협은 자동화다. 고용 시장이 불안정해져서 사람들이 사회적, 경제적 압박을 느끼면 민주주의가 흔들릴 수 있다.
🔖대공황 시기 독일에서 히틀러 등장

<449쪽>
창의성은 종종 패턴을 인식한 다음 그 패턴을 깨는 능력으로 정의된다. 그렇다면, 컴퓨터는 패턴 인식에 뛰어나기 때문에 많은 분야에서 우리보다 창의적일 가능성이 높다.

<449쪽>
치료사부터 교사까지 정서 지능을 요하는 직업에서는 컴퓨터가 인간을 대체할 수 없다는 것이다. 하지만 정서 지능이 무엇을 의미하느냐에 따라 결과가 달라질 수 있다… 컴퓨터는 정서 지능에서도 인간을 능가할 가능성이 높다. 감정도 일종의 패턴이다. 분노는 우리 몸에 나타나는 생물학적 패턴이다.

<459쪽>
21세기를 버텨내기 위해 가장 중요한 인간의 능력은 유연성일 가능성이 높고 민주주의는 전체주의 체제보다 유연하다. 컴퓨터와 마찬가지로 인간도 아직 잠재력을 완전히 발휘하지 않았다.

<466쪽>
사회가 점점 더 많은 결정을 컴퓨터에 맡길수록 민주주의의 자정기능, 투명성, 책임성이 약화된다. 선출직 공무원이 자신이 이해할 수도 없는 알고리즘을 어떻게 통제할 수 있겠는가? 이에 따라 ‘설명을 요구할 권리’라는 새로운 인권을 성문화하라는 요구가 높아지고 있다.

<469쪽>
불가해하고 이질적인 지능의 등장은 민주주의의 근본을 흔든다. 만일 인간의 삶에 대한 더 많은 결정이 블랙박스 안에서 이루어져 유권자들은 그 결정을 이해할 수도 이의를 제기할 수도 없다면 민주주의는 작동하지 않을 것이다.

<470쪽>
점점 더 불가해해지고 있는 정보 네트워크는 최근 포퓰리스트 정당과 강력한 지도자가 잇달아 등장하고 있는 이유 중 하나다. 사람들은 더 이상 세상을 이해할 수 없을 때, 그리고 소화할 수 없는 엄청난 양의 정보에 압도될 때 쉽게 음모론에 빠지고, 자신들이 이해하는 대상인 ‘인간’에게 구원을 요청한다.

<485쪽>
민주주의 국가는 정보 시장을 규제할 수 있으며, 민주주의의 생존 자체가 이런 규제에 달려 있다는 것이다. 정보에 대한 순진한 관점은 규제를 반대하면서, 정보 시장의 완전한 자유를 보장하면 저절로 진실과 질서가 생긴다고 믿는다…. 국회의사당과 시청부터 신문사와 라디오 방송국에 이르기까지 이런 대화가 이루어졌던 모든 장소에는 규제가 필요했다. 이질적인 형태의 지능이 이 대화를 지배하려고 위협하는 시대에 이런 규제는 더더욱 중요하다.
🔖결국은 규제해야 한다는 얘기. 컴퓨터(또는 정보) 네트워크나 인공지능에게는 규제가 필요하다는 주장에는 동의가 된다. 어떻게 규제해야할까..
🔖유튜브에 가짜뉴스가 많다고 규제해야 한다는 주장에 일부 동의해 왔다. 그러나 유튜브가 없었으면 어쩔 뻔 했나 하는 상황을 마주하고 보니, 정보네트워크에 대한 규제에 대한 논의는 정말 어려운 문제 같다.

<486쪽>
시민들이 서로 대화할 수 없고 서로를 정치적 라이벌이 아닌 적으로 여길 때 민주주의는 유지될 수 없다.

<487쪽>
솔직히 우리는 민주주의 정보 네트워크가 붕괴하고 있는 것 을 뻔히 보면서도 그 이유를 확실히 모른다. 이것 자체가 시대적 특징이다. 정보 네트워크는 너무 복잡해졌고, 불투명한 알고리즘의 결정과 상호 컴퓨터 현실에 대한 의존도가 너무 커져서 인간은 ‘왜 우리가 서로 싸우는가’라는 가장 기본적인 정치적 질문에조차 답하기 어려워졌다.

10.전제주의 : 모든 권력을 알고리즘에게로?

<494쪽>
무엇보다도 독재 정권은 비유기적 행위자를 통제해본 경험이 없다. 모든 독제 정보 네트워크의 토대는 공포다. 하지만 컴퓨터는 투옥되거나 살해되는 것을 두려워하지 않는다.

<503쪽>
독재자들은 항상 약한 자정 기능으로 인한 문제에 시달렸고, 항상 힘 있는 부하들에게 위협받았다. AI는 이 문제를 더욱 심화할 것이다. 따라서 컴퓨터 네트워크는 독재자에게 괴로운 딜레마를 안겨준다. 인간 부하의 손아귀에서 벗어나기 위해 오류가 없다고 여겨지는 기술에 의지할 수 있지만, 이 경우 기술의 꼭두각시가 될 수 있다. 그렇다고 AI를 감독할 수 있는 인간의 기관을 만들면, 독재자 자신의 권력도 제한받을 수 있다.

<504쪽>
독재자들은 AI가 힘의 균형을 자신들에게 유리하게 기울일 것이라고 믿는 우를 범해서는 안 된다. 조심하지 않으면 AI는 스스로 권력을 장악할 것이다.

11.실리콘 장막 : 세계 제국인가, 세계 분열인가?

<507쪽>
마찬가지로 AI도 전 세계적인 문제다. 각 국가가 자국 내에서 AI를 현명하게 규제하기만 한다면 AI 혁명의 최악의 결과는 피할 수 있다고 생각한다면 순진한 것이다. 그르므로 새로운 컴퓨터 정치를 이해하기 위해서는 개별 사회가 AI에 어떻게 반응할지 검토하는 것만으로는 충분하지 않다. 우리는 AI가 세계 수준에서 사회들 간의 관계를 어떻게 변화시킬지도 생각해봐야 한다.

<509쪽>
국제질서는 컴퓨터로 인해 크게 두 가지 위협에 직면할 수 있다. 첫째, 컴퓨터는 정보와 권력을 중앙 허브에 모으는 것을 쉽게 만든다는 점에서 인류는 새로운 제국 시대에 접어들 수 있다…… 둘째, 인류는 서로 경쟁하는 디지털 제국들 사이에 가로놓인 새로운 실리콘 장막에 따라 분열될 수 있다.

<517쪽>
21세기에 식민지를 지배하기 위해서는 군함을 보낼 필요가 없다. 대신 데이터를 탈취해야 한다. 전 세계 데이터를 수집하는 소수의 기업 또는 정부는 나머지 세계를, 노골적인 군사력이 아닌 정보를 통해 지배하는 데이터 식민지로 만들 수 있다.

<522쪽>
따라서 비교적 가난한 개발도상국들은 AI와 자동화로 인해 특수한 어려움에 직면할 것이다. AI 기반 경제에서는 디지털 선두 주자들이 대부분의 이익을 가져가는 데다, 그 부로 자국의 노동력을 재교육하여 훨씬 더 많은 이익을 낸다. 반면 뒤처진 국가에서는 미숙련 노동자의 가치가 하락하는 데다, 노동력을 재교육할 자원이 없어서 더욱 뒤처지게 된다.

🔖19세기의 철도기술과 식민지의 관계가 21세기 인공지능과 데이터식민지로 재현될 것이라는 얘기, 이미 시작된 것 같다.

<531쪽>
정신과 육체에 대한 이 오래된 신학 논쟁이 AI혁명과 무슨 관계가 있는지 의아하겠지만, 실은 21세기 기술로 인해 이 논쟁이 부활했다.  

<533쪽>
몇십 년 내에 컴퓨터 네트워크가 현재 우리의 관점에서는 이해하기 어려운 인간과 비인간의 새로운 정채성을 만들어낼 가능성이 높다. 그리고 세계가 만일 두 개의 경쟁적인 디지털 고치로 나뉜다면, 한 고치에 속한 존재들의 정체성을 다른 고치의 거주자들은 이해할 수 없을지도 모른다.

<540쪽>
인간은 과연 AI 규제에 필요한 수준의 신뢰와 자제력을 가질 수 있을까?

<547~548쪽>
나는 역사학자로서 변화 가능성을 믿는다. 역사의 중요한 교훈 중 하나는 우리가 자연스럽고 영원하다고 생각하는 많은 것들이 사실은 인간이 만들엇으며 바뀔 수 있다는 것이다…선택을 잘해야 할 막중한 책임이 우리에게 있기 때문이다. … 우리가 노력할 경우 더 나은 세계를 만들 수 있다는 뜻이기도 한다. …. 역사의 유일한 상수는 변화다.

-에필로그-
<557쪽>
우리는 인간의 모든 상호작용을 제로섬 권력 투쟁으로 환원하는 것을 거부해야 하는데, 이는 과거를 더 충실하고 다면적으로 이해하는 데 중요할 뿐만 아니라, 미래에 대한 더 희망적이고 건설적인  태도를 갖기 위해서도 중요한다. 만일 권력이 유일한 현실이라면, 갈등을 해결하는 방법은 폭력밖에 없을 것이다…. 하지만 인간은 진실에 관심이 있으므로 적어도 일부 갈등은 서로 대화하고 실수를 인정하고, 새로운 아이디어를 수용하고, 우리가 믿는 이야기를 수정함으로써 평화롭게 해결할 기회가 있다. 이것이 바로 민주주의 네트워크와 과학 기관의 기본 전제다. 또한 이 책을 쓰게 된 기본적인 동기이기도 했다.

<558쪽>
인간 본성의 어떤 부분이 우리를 자기 파괴의 길로 내모는 걸까? 이 책에서 나는 그것은 인간 본성 탓이 아니라 정보 네트워크 탓이라고 주장했다. 진실보다 질서를 우선시한 탓에 인간의 정보 네트워크들은 엄청난 힘을 만들어냈지만 지혜는 거의 만들어내지 못했다.

<559~560쪽>
자정 장치가 무너지면 21세기 스탈린의 손에 막강한 힘을 쥐여줄 수 있다. AI로 강화된 전체주의 정권은 인류 문명을 파괴하기 전에 스스로 망할 것이라고 생각한다면 무모한 것이다. 정글의 법칙이 신화인 것처럼, 역사의 호가 정의를 향해 휘어진다는 생각도 신화다, 역사는 여러 방향으로 휘어져 매우 다른 목적지에 도달할 수 있는, 철저히 열려 있는 원호다.

<560쪽>
우리가 현실에 안주하거나 낙담하지 않는다면, 스스로의 힘을 견제하는 균형 잡힌 정보 네트워크를 만들어낼 수 있다. 이는 또 다른 기적의 기술을 발명하거나 이전 세대는 생각하지 못한 기발한 아이디어를 떠올려야 한다는 말이 아니다. 오히려 우리가 지혜로운 네트워크를 구축하기 위해서는, 정보에 대한 순진한 관점과 포퓰리즘적 관점을 모두 버리고, 무오류성이라는 환상에서 벗어나 강력한 자정 장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다. 이것이 이 책의 가장 중요한 메시지가 아닐까 싶다.

-옮긴이의 말-
<569쪽>
이 책에서 하라리는 종교사에 많은 지면을 할애하는데, 신의 말씀을 기록한 책과 AI가 둘 다 무오류의 초인적 권위를 창조하려는 시도라는 점을 보여줌으로써 경각심을 불러일으키기 위해서다. 그는 오류를 바로잡을 수 있는 장치의 중요성을 강조하면서 <성경> 정경에 어떤 책을 포함할지 결정한 것이 수세기에 걸쳐 광범위한 결과를 초래한 것처럼 오늘날 AI를 놓고 내린 결정이 인류의 미래를 결정할 것이라고 경고한다.

🔖매일 분량을 읽으면서 너무 정신없이 읽느라 내가 책의 전체적인 흐름을 놓치고 있는거 아닐까 하는 조바심이 났다. 그런데 에필로그에서 친절하게 한번 더 요약해줘서 그 아쉬움을 완벽하게 채울 수 있었다. 이어지는 옮긴이의 말 부분도 내가 놓친 부분을 짚어주어서 정말 좋았다.
🔖 인공지능네트워크의 자정장치를 만들어 가기 위한 논의를 세계가 함께 시작할 수 있을지는 아직 모르겠다.