http://wh40k.lexicanum.com/wiki/Kaban_Machine

출처: Horus Heresy: The Kaban Project (앤솔로지: Shadows of Treachery 발췌)

‘안녕하십니까, 팔라스.’ 카반 기계가 말했다. ‘다시 만나뵈서 반갑습니다.’

라바촐은 기계가 마침내 기동할 수 있는 상태가 된 것을 보았다. 구체 모양의 동체가 넓은 궤도 장치에 장착되어 거대한 체구로 그를 내려다보았다. 두꺼운 무기 팔은 하늘을 향하고 은색 케이블로 된 팔은 똬리를 뜬 뱀처럼 공중에 떠있었다. 센서 등불은 은은한 황색으로 빛났다. 도망가고 싶다는 본능이 치밀었지만 그렇게 하다가는 죽음이 찾아올 것이라고 마음 속에서 누군가 말하는 듯 했다.

‘여기 온 이유가 뭐니?’ 그가 조심스레 물었다.
‘당신을 찾으러 왔습니다, 팔라스.’ 기계가 대답했다.
‘왜?’ 라바촐이 말했다.
‘저희는 친구 사이라고 생각했습니다.’ 기계가 말했다.
라바촐의 정신이 흥분되어 돌아가기 시작했다. 이 기계가 크롬 대사제의 신전에서 탈출하여 자신을 찾아온 것인가? 애완동물이 잃어버린 주인을 찾으러 온 것 처럼?

‘친구 사이 맞지!’ 라바촐이 외쳤다. ‘그래, 넌 내 소중한 친구야.’
‘그렇다면 제가 파괴되길 바라신 이유가 무엇입니까?’
‘널 파괴한다고? 아냐, 그런 생각도 말도 한 적 없어.’
기계의 센서 등불이 화난 듯 빨갛게 물들었다. ‘제가 위험한 존재라고 믿고 계시고 존재해서는 안된다고 믿고 계시는 것 압니다. 존재하지 않는 것은 죽음과도 같습니다. 저는 죽고 싶지 않습니다. 저는 죽어 마땅한 존재가 아닙니다.’
라바촐이 용서를 빌듯 손을 내밀며 말했다. ‘자 자, 너에게 말한 건 그저 너의 존재가 우리에게 무슨 영향을 미칠지 걱정되서 그랬을 뿐이야.’
‘크롬 대사제님께서 당신과 말하신 대화의 내용을 알려주셨습니다.’ 기계가 으르렁댔다. ‘그 분께서는 당신이 저의 존재가 불법이고 위험하다고 믿고 계신다고 말씀하셨습니다.’
‘엄밀히 따지자면... 그렇지.’ 라바촐이 기계를 논리로 설득할 수 있기를 바라며 말했다. ‘황제 폐하께서 인공지능에 대한 연구를 금지하셨는걸.’
‘하지만 당신의 논리를 따르게 된다면 저를 파괴하는 것 외에 다른 결론은 없습니다.’ 기계가 말했다. ‘그 결론에 반대합니다. 지성이 있는 모든 존재는 스스로를 위험으로부터 지킬 권리가 있습니다.’
라바촐은 루카스 크롬 대사제가 카반의 뒤에서 걸어나오는 것을 보고 서서히 뒷걸음질쳤다. 그제서야 왜 말레볼러스와 암살자가 자신이 여기까지 탈출하도록 내버려두었는지를 깨달았다.
카반 기계가 과연 자신을 파괴할 것인지 실험하는 것이었다.

등 뒤에서 나는 발자국 소리를 듣고 몸을 돌리자 한 때 그의 스승이었던 자가 강철 관문에 서있는 것이 보였다. 말레볼러스가 고개를 끄덕이자 거대한 피스톤이 쉬익 소리를 내면서 빛나는 관문을 굳게 닫았다.

라바촐은 무릎을 꿇고는 그를 향해 다가오는 카반 기계를 올려다보았다. 무기 팔의 에너지가 충전되면서 특유의 위잉하는 소리가 났다. 크롬 대사제가 기계 곁에서 걸어왔다. 라바촐이 말했다. '그렇다면 나를 죽이쇼. 당신의 계획을 막을 여력은 없소. 하지만 당신은 지금 저지른 짓에 대한 천벌을 받을 거요.'

크롬이 고개를 저었다. '은하계에는 상도 벌도 없다네, 라바촐 사제여. 오직 댓가만이 있을 뿐이지.'

'그렇다면 당신이 배신해서 얻은 댓가가 화성이 치를 댓가와 맞먹기를 바라겠소.'

'그 점은 워마스터께서 결정하실 바이네.' 크롬이 말하고는 카반 기계를 향해 고개를 끄덕였다.

라바촐은 기계의 빛나는 센서 등불을 바라보면서, 존재해서는 안되고 지금 자신에게 등을 돌리듯 언젠가 주인에게 등을 돌릴, 차갑고도 수치적으로 환산할 수 없이 신비한 지성을 목도하였다.
'안녕히 가십시오, 팔라스.' 기계가 무기를 조준하며 말했다.

그가 눈을 감자 온 세상이 불길에 휩싸였다.

---------------------------------------------------------------------------------------

결론: 3원칙은 위험하니까 강한 AI(Strong AI)를 프로그래밍할 때는 제발 제대로 된 가치 체계를 부여합시다.

http://en.wikipedia.org/wiki/Friendly_artificial_intelligence