특이점이 온다

기술이 인간을 초월하는 순간, 특이점이 온다!

책을 읽으며, 레이 커즈와일의 주장과 근거가 워낙 치밀해서, 진짜로 특이점이 올 것 같다고 설득되고 말았다. 기하급수적 기술의 발전, 수확 가속의 법칙에서 특히 그렇게 느꼈다. 또 인간은 근시안적 미래만 예측할 수 있다는 얘기에도 격하게 동의했다. 유전공학, 나노기술, 로봇공학의 융합으로 펼쳐질 미래는 일부는 이미 우리한테 너무 익숙했고 일부는 너무 먼 미래라고 생각했지만, 모두 상상 가능한 미래라고 생각했다.  이 책에 붙은 수식어 '앞으로 천 권의 SF를 탄생시킬 책' 에도 고개가 저절로 끄덕여졌다.

 

기술의 발전이 인간의 삶을 편리하게 해준다는 사실과 어쩌면 영생을 누리게 된다는 예언은 희망적이고 놀랍다. 그런데 특이점 이후의 세상, 생물과 비생물의 경계가 모호해지는 그 단계로 가려면 얼마나 큰 시행착오가 있을 것인가! 특이점이 오기전까지 인간이 겪을 과도기적 순간들에 대해서는 저자가 간과한 거 아닌가 싶었고 나는 이 부분(인간을 마치 기계처럼 취급하는 관점)이 불편했다. 인간의 연약한 신체와 복잡한 면역체계 등이 나노로봇이라는 외부 물질에 적응하는 과정을 상상하면 좀 많이 고통스러울 것 같다. 커즈와일의 책을 읽고보니, 막상 읽을 땐 좀 오글거린다 생각했던 책 코스모스가 얼마나 인류애 풍부하고 서정적인 책이였는지! 나는 칼 세이건 취향에 가까웠음을 알게 되기도 했다.

 

밑줄긋기 정리하면서 이 책의 치밀한 전개에 다시 한번 놀랐다. 책 내용 요약은 너무 쉽고 주장도 간결하다. 심지어 해제와 옮긴이의 말을 읽으면 핵심정리까지 한방에 가능하다. 그러나 나에게는 매우 지루한 독서였다. 미래 얘긴데 재미가 없고 그렇다고 무섭지도 않다(아마 무서웠다면 흥미로웠을지도!). 나의 흥미와 내가 이해할 수 있는 범위의 일은 모두 과거(역사)에 있나보다 깨닿는 시간이였다. 일단 모르는 것(어려운 것)은 회피하고 보자는 나의 심리를 마주하는 것도 힘들었다. '인공지능의 미래가 오면 어떻게든 적응하면서 살겠지!' 하며....  

 

 

 

---

 

 

 

해제

<30>
21세기, 왜 <<특이점이 온다>>를 읽어야 하는가?
이 책의 가장 큰 의미는 인공지능 발전에 대한 장기적 비전을 제시 했다는 데 있다. 단순히 인공지능의 현재 발전 상황을 설명하는 데 그치지 않고, 인공지능이 인간 지능의 초월하는 순간을 상상하게 만들며, 기술의 질주를 촉진하고, 나아가 인류 문명의 방향서아저 뒤흔들어놓았다. 커즈와일은 21세기 인공지능 시대를 앞두고 눈앞의 기술 혁신이 아닌 더 먼 미래를 내다보는 전망을 전 인류에게 제시했다.

1. 여섯 시기

<41>
특이점이란 무엇인가? 그것은 미래에 기술 변화의 속도가 매우 빨라지고 그 영향이 매우 깊어서 인간의 생활이 되돌릴 수 없도록 변화되는 시기를 뜻한다. 유토피아도 디스토피아도 아닌 이때, 비즈니스 모델부터 인간의 수명에 이르기까지, 우리가 삶에 의미를 부여하기 위해 사용하는 온갖 개념들에 변화가 일어날 것이다.

<45>
특이점 이후에는 인간과 기계 사이에, 또는 물리적 현실과 가상현실 사이에 구분이 사라질 것이다. 그때에도 변하지 않고 존재하는 인간성이란 게 있을까? 물론이다. 늘 현재의 한계를 넘어 물질적, 정신적 영역을 확장하고자 하는 인간의 고유의 속성은 여전 할 것이다.

<70>
..즉 미래의 기계는 비록 생물이 아닐지라도 변함없이 인간적일 것이다. 이것은 다음 단계의 진화, 한 단계 높은 패러다임으로의 전환, 다음 수준의 우회적 발전일 것이다…. 생물학적 지능이 진화의 우위를 잃는다 해도 이것이 흔히 우려하는 것 처럼 생물학적 지능의 종말을 뜻하는 건 아니다… 비록 인간성에 대한 이해가 생물학적 기원을 넘어서긴 하겠지만, 정말 여러 가지 면에서 미래 문명은 현재보다 더 인간적인 전형이 될지 모른다.

📝2004년의 몰리처럼 특이점이 온 이후에도 나는 나 자신으로 남기를 원할 것 같다. 특이점 이후의 세계가 상상이 잘 안된다. 많이 먹고 쓰레기만 만들어 내는 인간들 때문에 지구가 망할 것 같은데, 인간이 지구를 망가뜨리는 속도보다 기술발전의 속도가 더 빨라서 필요한 때 적절한 환경을 만들어 내는 신세계를 눈으로 읽으며, 2048년을 살아갈 나를 상상해봤다. 음.. 20년후엔 저런 세상 안 올 것 같다.

2. 기술 진화 이론

<78>
무어의 법칙: 반도체집의 집적밀도가 약 2년마다 두 배가 된다고 한 인텔 창립자 고든 무어의 예측

<93>
기술을 창조하는 종이 출현하자 기하급수적 속도는 DNA가 유도하는 단백질 합성을 통한 진화가 감당하기 힘든 정도가 되었고, 진화는 인간이 창조한 기술로 이동했다. 이것은 생물학적(유전적)진화가 단절된다는 의미가 아니다. 생물학적 진화가 질서를 증가시키는 면에서(혹은 연산의 효과와 효율 면에서) 더 이상 주도권을 갖지 못한다는 뜻이다.

<118>
수확 가속의 법칙에 따라, 패러다임 전환(이른바 혁신)은 개별 패러다임의 S자 곡선을 연속적인 기하급수적 증가로 바꿔준다. 낡은 패러다임이 내재적 한계에 이르면 3차원 회로 같은 새로운 패러다임이 이어진다…. 인간이 창조한 기술은 처음부터 기하급수적 패턴으로 증가하고 가속되어 왔다.
📝 그동안 진화라고 하면 생물종의 진화만 생각했다. 기술은 진화보다는 발전 또는 진보라는 표현에 익숙했다. 그래서 늘 인간과 인공을 구분지었다. 이분법으로 나눌수록 인공은 뭔가 인간미 없고 부정적인 느낌이다. 인공이 지배할 미래가 디스토피아로 그려지는 것도 이런 영향 같았다.이 책의 관점, 생물의 진화 다음에 온 기술의 진화를 분절이 아닌 연속적 순차적 개념으로 설명하는걸 읽다보니 인공에도 인간적인 면을 담는 기술이 가능할수도 있겠다. 그리고 기술의 기하급수적 패턴으로 증가하는 현상은 반드시 특이점의 순간으로 이어질 것도 같다.    

<123>
지금까지 얘기한 것처럼, 기술은 기하급수적으로 발전하지만, 우리는 선형적 차원에서 그것을 경험한다. 대부분의 관찰자 입장에서 보면 1990년대 중반까지는 인터넷 분야에서 아무 일도 일어나지 않은 것 같았다. 그러다 갑자기 월드 와이드 웹과 이메일이 등장한 것이다. 그러나 인터넷이 세계적인 현상이 되리라는 점은 1980년대 초, 인터넷의 전신이 ARPANET이 가동을 시작했을 무렵부터 이미 기하급수적 추세 데이터를 조사해보면 쉽게 예측할 수 있는 일이었다.

<144>
수확 가속의 법칙은 본질적으로 경제 이론이다. 현재 우리의 경제 이론과 정치는 에너지 비용, 물가, 공장과 설비 자본 투자를 성장 핵심 요소로 강조하는, 시대에 뒤진 모델에 근거하고 있다. 연산 용량, 메모리, 대역폭, 기술의 규모, 지적 재산권, 지식 등 점점 큰 영향력을 행사해가는 요소들을 대체로 간과하고 있다.

<146>
선형 모델들이 얼마간 유효한 것처럼 보이는 까닭은 대부분의 사람들이 애초에 직관적 선형 관점을 채택하는 이유와 동일하다. 즉 기하급수적 추세는 짧은 기간 동안, 특히 많은 일이 일어나지 않는 초기에 관찰하고 경험할 때는 확실히 선형적인 듯 보이기 때문이다. 그러나 일단 ‘곡선의 무릎’에 다다라 기하급수적 성장이 폭발적으로 시작되면, 선형 모델은 무너진다.

📝선형적 점진적으로 생각하면 미래 예측은 어렵다. 주식으로 돈을 벌기 위해서는 가치분석(기하급수적 기술 진화를 내다 보는 안목)와 장기투자(곡선의 무릎 직전 보다 미리 선점해서 폭발직전까지 보유)해야된다는 단순 명백한 진실이 남는다. 2004년도의 현명한 투자자 몰리는 장기투자에 성공해서 2025년 부자가 되어 있기를

 

3.  인간 뇌 수준의 연산 용량 만들기

<164>
연산 용량의 가속적 증가는 인간의 사회경제적 관계 및 정치 조직까지 바꾸어 놓았다. … 기기의 크기를 줄이는 이 전략은 연산 및 통신 역량의 기하급수적 증대 역사에 있어 첫 번째 패러다임이 아니라는 것이다. 반도체는 다섯번째 패러다임이었고, 이미 우리는 다음 번째 패러다임의 윤곽을 떠올리고 있다. 바로 분자 수준의 연산 및 3차원 연산이다.

<187>
지금은 3차원 분자 구조를 통해 연산을 하게 될 여섯 번째 패러다임을 목전에 두었다. 인류의 지성 및 창조성으로부터 경제에 이르기까지, 우리가 관심 두는 모든 것의 바탕에 연산이 있기 때문에 다음과 같은 질물을 묻지 않을 수 없다. 물질과 에너지가 연산을 수행하는 능력에는 궁극의 한계가 있는 걸까? 있다면 어떤 한계일까?

<192>
특이점에 관한 현상 중 중요한 한 가지는 정보 처리 과정, 즉 연산 기술이 세상 모든 중요한 업무들의 원동력이 되어주리라는 사실이다.

<197>
..나는 2045년을 특이점의 시기로 예상한다. 인간 역량이 심오하게, 돌이킬 수 없는 변환을 맞는 땡리 것이다. 2040년 중반이 되면 비생물학적 지능이 세상을 지배하고 있겠지만 그래도 그건 여전히 인류 문명일 것이다. 인간은 생물학을 초월하는 것이지 인간성을 초월하는 게 아니다.

📝 3차원 분자 연산이 지금은 가능한건지 모르겠지만, 여기에 소개된 연산방법들을 읽다가 이해를 전혀 못해서 고통스러웠다. 아는 단어는 ’나노‘하나뿐. 인공지능이 계산도 의학적 진단도 법률검토도 더 잘 한다고 하는 기사를 본적이 있는걸 보면, 이미 인간 뇌 수준의 연산 용량은 뛰어 넘었다. 비생물이 지배하는 세상에서(특이점 이후의 세계) 인간성을 유지하는 방법은 무엇일지 7장이 궁금해졌다.

 

4. 인간 지능 수준의 소프트웨어 만들기

<215>
병렬 처리 구조는 패턴 인식 능력의 핵심이고, 패턴 인식 능력은 인간 사고 능력의 중시이다. 포유류의 뉴런들은 카오스적인 행태를 보이는데(겉보기에 무작위적인 상호작용을 갖는데) 일단 신경망이 무언가를 학습하면 거기서 안정적 패턴이 떠오른다. 망이 결정을 내렸다는  사실이 그런 식으로 드러나는 것이다. 현재로서는 컴퓨터를 병렬식으로 설계하는 데 한계가 있다. 하지만 그 원리를 사용해 생물학적 신경망을 기능적으로 모방하는 비생물학적 실체를 만들지 못할 이유는 없다.

<270>
뇌가 지닌 최고로 복잡한 능력은 아무래도 감정 지능이다. 나는 감정이야말로 뇌의 첨단 기능이라 생각한다. 복잡하게 얽힌 우리 뇌의 위계 구조 중 꼭대기 자리에는 감정을 인지하고 적절하게 대응하는 능력, 사회와 상호작용하는 능력, 도덕심을 느끼고 유머를 즐기고 감정으로 예술을 느끼는 능력이 여타 고차원적 기능들과 함께 불안정하게 자리하고 있다…

📝이 책보다 최근에 나온 책들 유발하라리의 넥서스나 김주환의 내면소통을 읽어보면, 현재의 인공지능이나 뇌과학의 연구 결과가 나오는데, 아직까지 뇌의 작동원리를 다 밝혀내진 못했다. 물론 이 책에서 예언한 방향으로 가고 있는 것 같지만, 인간 뇌의 작동방식을 수학적 연산으로 풀어내는 일은 예상보다 시간이 훨씬 많이 걸릴 것 같다. 특히 감정은 감각에서 유발되는 것이고 감각은 신체가 있어야 인지 가능할 것 같은데, 인공지능이(또는 업로드된 우리의 뇌) 이걸 어떻게 학습할 수 있을지 상상이 안된다.  결국 인간다움을 보여주는 감정이 불편한 것인지도 모르겠다. 감정을 아예 폐기하는 쪽으로 진화할지도? 놀랍게도 이것도 자연선택 방식으로 진행될지도..

5. GNR: 중첩되어 일어날 세 가지 혁명

 

유전학: 정보와 생물학의 접점

<289>
21세기 전반부에 우리는 세 개의 혁명이 꼬리를 물고 중첩되어 발생하는 것을 보게 될 것이다. 유전학의 혁명, 나노기술의 혁명, 로봇공학의 형명이다. 그로써 내가 제5기라 칭한 시대, 즉 특이점의 시대가 시작될 것이다. 현재 위가 처한 지점은  G(Genetics, 유전학) 혁명의 초기 단계다. 우리는 생명이 간직한 정보 처리 과정을 이해함으로써 인체의 생물학을 재편하는 법을 익히고 있다. 질병을 근절하고, 인간이 잠재력을 극적으로 넓히고, 수명을 놀랍도록 연장하는 법을 배우고 있다.

<296>
”나와 동시대를 사는 사람들 중에는 우아하게 늙어가는 것을 인생의 일부로 여기고 만족하는 이들이 있지만, 나는 그렇게 생각하지 않는다. 물론 그것이 ‘자연적인’ 일인지는 모르겠다. … 나는 질병과 죽음은 어느 나이에 겪더라도 참극이라고 생각한다. 극복해야 할 문제에 불과하다고 본다.“
📝레이 커즈와일의 철저한 관리와 자체 실험 놀랍다. 폭식이 몸에 안좋은 걸 알면서도 가끔 기분이 꿀꿀한 날엔 이것저것 먹으면서 감정을 달래는 사람으로서 좀,, 인간미가 없어보였다.
📝유전학 혁명에서 소개된 연구들을 읽으며, 아직 부작용 없는 비만약, 기적의 항암치료제 같은 것들이 나오지 않았으니 20년전 예측한 미래는 아직 멀어보인다.
📝 영원히 늙지 않는 존재에 대해서는 기괴한 느낌이 든다. 환타지 드라마나 소설(도깨비나 흡혈귀등)에서 감상적으로 다뤄서 그런지 영생은 전혀 기대되지 않는다.적당한 시기에 사라지고 싶은 소망이 있다.

나노 기술: 정보와 물리 세계의 접점
<321>
적혈구를 모두 로봇으로 대체하면 생물학적 상태일 때보다 수천 배 효율적으로 운영될 것이다.

<341>
인류가 창조한 모든 기술이 그랬듯, 나노기술은 우리의 파괴적 측면까지 부추길지 모른다. 위험은 배제하고 혜택만 거두는쪽으로 기술을 발전시키기 위해서라도 잘 아는 것이 중요한 법이다.
📝기술의 양면성 문제는 우리가 늘 겪어왔던 것이지만, 여기서 소개된 나노기술은 좀 무시무시하다. 아주아주 작게 만들어진 어떤 약물이 나도 모르는 사이에 내 몸에 침투하는 상상.. 내 적혈구를 나노로봇으로 다 바꾸는 상상들..

로봇공학: 강력한 AI
<367>
특이점을 뒷받침할 세 가지 주된 혁명들(G, N, R)중에서도  R(로봇공학)은 가장 심원한 혁명이다…로봇공학을 강조하는 이유는 지능이 세계에 영향을 미치기 위해서는 육체, 즉 물리적 실체가 필요하기 때문이다. 사실 나는 물리적 존재를 강조하고 싶진 않다. 나는 핵심은 오로지 지능이라고 본다. 지능은 속성상 반드시 세상에 영향을 미칠 방법을 찾아나설 텐데, 그 방법 중 한 가지로 물리적 존재인 육체가 있을 뿐이다.

<417>
강력한 AI의 도래는 이번 세기가 겪게 될 가장 중요한 사건이다. 생물학의 등장과도 비견할 만하다. 생물학으로 창조된 것들이 마침내 스스로의 지능을 장악하고 그 한계를 뛰어넘는 방법까지 알아내게 되었다는 뜻이다. 일단 인간 지능의 작동 원리들이 알려지면, 인간 과학자와 공학자들이 그 능력을 넓혀갈 것이다. 그 작업자들 또한 타고난 생물학적 지능 위에 비생물할적 지능을 융합시킴으로써 비교할 수 없을 정도로 놀라운 능력을 갖게 되었을 것이다. 그리고 시간이 흐르면, 마침내 비생물학적 지능이 생물학적 지능을 압도하는 날이 올 것이다.
📝인공지능의 발전과정과 상용화된 사례를 읽었지만, 제대로 이해하지 못해 답답한 기분이 든다. 결론은 인공지능은 반드시 인간의 지능을 뛰어넘을 거란 사실! 당장 뭘 해야할지 모르겠다. 인간이 아직 신체를 가지고 있는 지금 이 시기에 내 신체로 할 수 있는 일을 더 열심히 경험해놔야하나 싶었다.


6. 어떤 영향들을 겪게 될 것인가?

<432>
지금이 2030년대 초반이라고 상상해보자. 심장, 폐, 적혈구와 백혈구, 혈소판, 취장, 갑상선 및 모든 호르몬 분비기관들, 신장, 방광, 간, 식도, 위 소장, 대장이 죄다 필요 없을 것이다. 남은 것은 것은 골격, 피부, 성기, 감각 기관, 입과 식도 윗부분 뇌다.

<433>
간이나 췌장 같은 장기는 없어진대도 별 느낌이 없을 텐데, 그들의 직접적인 기능이 필요치 않기 때문이다. 하지만 피부는 다르다. 피부는 성기가 포함되어 있기도 해서, 우리가 마지막까지 지키고 싶어하는 조직일 것이다. 최소한 피부를 통한 소통과 쾌락이라는 핵심 기능만은 유지하길 바랄 것이다.
📝모든 호르몬의 작용을 나노봇이 전달하도록 만들고 난 후에 굳이 쾌락기능 유지를 위해 피부만은 사수할 것이란 예측에 웃음이 났다. 굳이 왜? 저 지경이라면 도파민이나 엔돌핀따윈 피부 없이도 나노봇이 배달해 줄텐데? 힘들게 피부로 소통할 필요가?

<438>
물론 인간은 많은 한계를 안고 있는 존재이지만, 저는 인간성의 핵심은 한계에 있다고 보지 않습니다. 오히려 한계를 뛰어넘는 능력이야말로 인간성의 핵심이라 봅니다. 인간은 가만히 머무는 존재가 아니지요. 지구에 머물러 있는 것도 참지 못했습니다. 생물학의 한계 내에 머무는 것도 참지 못하는 것입니다.
📝인간중에서 한계를 뛰어넘는 능력자는 극히 일부분일뿐 다수는 한계를 수용하며 산다고 생각한다. 소수의 천재들의 발견과 별명이 우리의 삶을 편안하게 해줬지만 이제 그 한계를 모르는 천재들에 의해서 인류가 망할 것 같다.

<458>
..그런데 내 마음 파일이 여러 종류의 연산 기판을 옮겨다니며 살아 남아서 특정 하드웨어에 종속되지 않는 상태가 되었다면, 그 마음 파일을 가진 존재를 반드시 나라고 부를 수 있을까? 이로써 우리는 플라톤 이래 끊임없이 제기되어온 의식과 정체성의 문제에 당면한다.

<459>
… 특이점 시대의 기술을 갖게 되면 우리는 좀 더 거대한 무언가로 진화할 수 있을 것이며, 그때가 되면 더 이상 죽음을 삶에 의미를 주는 존재로 찬양하지 않아도 될 것이다.
📝 ‘오늘 나의 하루는 어제 죽은 그 사람이 가져보지 못한 소중한 것’이라는 식의 명언이 무의미해지는 세상이 올 수도 있겠다. 나의 마음을 업로드해서 여기와 저기 어디에서든 존재할 수 있다면, 나의 정체성을 어떻게 정의해야할지 모르겠다. 오늘 낮에 너무 더워서 땀 흘리며 집에 오는 길, 이런 몸이 없다면, 출퇴근이 필요없을 것이고.. 재택근무를 할수 있으려나? 상상해보다가.. 그런 시대엔 내가 해야할 일이 아무것도 없겠지?!! 몸이 없는 세상은 너무 권태로울 듯! 나는 나의 정체성을 정신(의식)이라고 생각해왔는데, 책을 읽을수록 나의 정체성은 물리적 신체인 것 같다.

<481>
2030년대가 되면 인간과 기계, 현시로가 가상 현실, 일과 놀이 사이에는 그야말로 하등의 경계가 없을 것이다.

<489>
…방정식의 결과는 우리 은하계 내 무선 통신 문명의 수가 약 하나(정확히는 1.25개)라는 것이다. 우리는 그 하나가 어디에 있는지 너무 잘 알고 있다.
📝드레이크 방정식(무선 송신을 하는 문명의 수를 계산하는 방정식)을 커즈와일이 계산해본 결과, 우리 은하계엔 지구만 유일하게 발달된 문명이라는 얘기에 설득되었다. 칼세이건의 계산대로 백만개라면, 아직까지 우리에게 전파 신호가 안잡힐리가…

<513~514>
한 행성에 기술을 다루는 생명체가 생겨나고 그 생명체가 연산을 하게 되면 지능이 주변 물질과 에너지를 포화시키는 것은 순간이다. 금세 빛의 속도로 밖을 향해 뻗어갈 것이다. 문명은 결국 중력과 기타 우주의 힘들을 넘어설 것이다. 아니, 정확하게 말하자면, 그런 힘들을 제 스스로 제어하고 조작할 수 있게 될 것이다. 우주를 원하는 대로 만들 수 있을 것이다. 그것이 특이점의 목표다.
📝특이점의 시대에 우리가 어떤 영향을 겪을 것인지에 대해서 나름 수월하게 읽었다고 생각했는데, 뒷부분 우주얘기에서 또 블랙홀을 만나서 좌절, 문과적 사고만 가능한나의 입장에서는 태양계의 연산용량이 10의 몇승이라는 얘기부터 어리둥절,, 태양계가 왜 연산을 하지??
📝아무튼, 특이점이 오면 우리는 우주도 창조할 수 있다는 주장이 검증되는 것을 보려면 22세기에도 살아있어야겠다.  

 

7. 나는 특이점주의자입니다.

<521>
.. 하지만 나는 통상의 신앙에 대한 대체물을 찾다가 이런 시각을 발견하게 된 것이 결코 아니다. 처음 나는 기술의 트렌드를 이해하기 위해 이러 생각을 싲가했고, 그것은 더없이 실용적인 목표였다. … 그런데 시간이 흐르자 기술에 대한 분석이 스스로 꼴을 갖추더니 기술 진화 이론이라는 형태로 구체화한 것이다. 이런 중대한 변화가 우리 사회와 문화에, 나아가 나 자신의 삻에 어떤 영향을 미칠 것인지 상상해보는 것은 어쩌면 당연한 수순이었다. 따라서 특이점주의자가 된단느 것은 믿음의 문제가 아니라 이해의 문제임에 틀림없지만, 한편으로 책에서 다룬 과학 트렌드들을 생각하다 보면 기존 종교들이 풀고자 했던 문제에 대해 새로운 시각을 갖게 되는 것도 사실이다. 이를테면 생명의 유한함과 불멸, 삶의 목적, 우주 속의 지능이라는 문제들 말이다.
📝특의점주의자가 된 배경을 읽으며, 특의점주의자에 설득되었다.

<544>
개체가 의식을 하느냐 못하느냐 하는 것은 전적으로 개체 자신만 명료하게 판단 할 수 있는 문제다. 의식을 드러내는 신경학적 현상(가령 지적 행동)과 의식의 존재론적 실체 사이에는 객관적 현실과 주관적 현실이라는 엄청난 간극이 있다. 그 때문에 아무런 철학적 가정도 깔지 않고 순수하게 객관적으로 의식을 탐지할 수 있는 탐지기는 만들 수 없다
📝비생물학적 개체에게도 의식이 있을지 그 개체가 아니라면 알수 없다. 표면적으로 드러나는 행동을 통해 의식이 있다고 믿을 수밖에는
📝특이점 이후에  인간의 정체성과 의식을 어떻게 정의할지는 철학에서 찾아야 할 것 같다.

<544>
이런 딜레마를 잘 알고 있지만, 그래도 나는 패턴에 바탕을 둔 철학을 믿는다. 나라는 존재는 기본적으로 하나의 영속하는 패턴이라고 생각한다. 나는 진화하는 패턴이고, 스스로의 패턴 진화 과정에 영향력을 갖는다. 지식 또한 하나의 패턴이다. 정보와는 다르다. 그리고 지식을 잃는 것은 커다란 손실이다. 그러므로 사람이 죽는다는 건 긍극의, 최고의 손실이다.

 

8. 뗄수 없게 얽힌 GNR의 희망과 위험

<577>
미래 기술의 영향을 숙고하는 사람들은 종종 세 가지 생각의 단계를 겪는다. 첫째는 오래된 골칫거리들을 극복할 수 있으리라는 데서 오는 경외와 놀라움, 둘째는 새로운 기술에 수반할 심각한 위험들에 대한 두려움, 마지막은 우리가 책임감 있게 택할 수 있는 유일한 길은 위험을 적절히 관리하며 편익을 극대화할 수 있는 조심스러운 방향으로 나아가는 것뿐이라는 깨달음이다.

<579>
기술 발전을 포기한다는건 개인, 회사, 국가의 경제적 자살이나 다름없다.

<588>
넓은 영역의 기술 포기를 하자는 주장이 설득력 있게 들리는 건 왜일까? 우리는 미래의 위험이 오늘의 무방비 상태 세상에 벌어지는 풍경을 상상하기 때문이다.실은 방어기술과 지식 또한 위험과 더불어 갈수록 세련되어지고 강력해질 것이다.

<588>
..소프트웨어 바이러스 통제에 성공했던 과거의 상황과 조작된 생물학적 바이러스의 위협에 대응해야 할 미래의 상황을 비교해보면, ….소프트웨어 산업에는 거의 아무런 규제가 없었다는 점이다. 생명공학 산업을 그렇지 않다. … 방어 기술을 연구하는 보통 과학자들은 현존하는 갖가지 규제를 따라야 한다. 그래서 혁신의 매 단계가 상당히 느려지고 있다.

<600>
기술은 영원히 양날의 칼로 남을 것이다. 인류가 다양한 목적으로 사용할 수 있는 막대한 능력일 뿐이다. … 우리는 급변하는 기술을 인류의 소중한 가치들을 진작하는데 사용하면서 한편으로 방어 능력을 키워가는 수밖에 없다. 인류의 소중한 가치들이라는 것이 무엇인가에 대해서는 안타깝게도 확실한 합의가 없지만 말이다.

📝8장에서는 유전공학, 나노기술, 로봇기술의 편익은 극대화하면서 위험을 피하는 방법을 소개했다.
📝 AI기술의 발전이 엄청나다고 느껴지는 현시점에서 아직도 우린 인류의 소중한 가치에 대한 합의를 못이룬 것 같아. 이미 빅테크기업이 시장논리에 따라 만들어 놓은 흐름에 내 던져진 것 같다.

9. 비판에 대한 반론

<640>
튜링, 처치, 괴델의 업적은 논리, 수학, 연산에 명백한 한계가 있음을 처음으로 보여준 것이었다.
<668>
나는 뎀스키가 유물론이라 부른 입장을 좀 더 정확하게 ‘역량 유물론’ 내지는 ‘역량 패턴주의’라 부르고 싶다. 역량 유물론/패턴주의는 생물학적 뉴런과 그들 사이 연결은 물지로가 에너지의 지속적 패턴으로부터 만들어진다는 관찰을 바탕에 깐다. 또 그들을 복제하거나 기능적으로 동일한 모델을 만들면 그들의 생물학적 기법을 적절히 묘사하고, 이해하고, 모방할 수 있다고 믿는다.


<672>
이제는 다시 말할 필요도 없겠지만, 내가 책을 통틀어 말하고자 하는 바는 현재 우리가 기계의 속성이나 인간의 속성에 대해 집요하게 믿고 있는 가정들이 향후 수십 년 내에 하나하나 의문에 붙여지리라는 점이다. … 내 주장은 2030년대 이후의 기계들은 무척 복잡하고 풍부한 구조를 지닐 것이라 그 행동을 보면 감정적 반응, 열망, 물론 역사까지 느낄 수 있으리라는 것이다.

📝9장은 레이 커즈와일이 자신의 견해에 대해 비판에 대해 조목조목 반론으로 채워져있다. 글자는 다 읽었지만 내가 마치 중국어 방의  기계가 된 것 같았다. 중국어를 모르는  채 연산작용에 따라 기계적으로 답을 출력해주는... 아무튼 읽었으나 읽었다고 말하기 참 애매하다.
📝13개 항목으로 나뉜 반론을 읽다보면 아 그렇겠네 하고 수긍을 하게 된다(고 착각하는지도!) 심지어 비생물학적인 개체들에게도 의식이 있다고 믿을 세상이 올 것 같기도 했다.
📝책 전체에서 제일 쉽고 속 시원하게 읽은 부분은 옮긴이의 말이다. 책 덮을 땐, 아 이런 책이였지! 정리가 되면서 마음이 후련해진다.