Hace ya muchos años, Isaac Asimov estableció lo que se consideraron las leyes básicas de la robótica, que son unas leyes que se supone han de cumplir todos los aparatos que pueden actuar por su cuenta, sean más o menos inteligentes.
Esas leyes, resulta que se reducen a lo mismo que se les pide a los niños, poniendo el dedito índice así, levantado con aire instructor y voz de de dar una importante lección:
1- No tienes que pegar a los otros niños ni a los mayores.
2- Tienes que obedecer y ser bueno.
3- Y no seas alocado no te vayas a caer y hacerte daño.
El caso es que estas leyes no son como los Mandamientos que puedes cumplir en el orden que quieres, sino que la prioridad debe ser la de su orden. Por ejemplo, si mandas a un robot que le pegue a alguien, estará cumpliendo la 2ª ley, pero incumple la 1ª.
Pero ya tenemos aparatos que empiezan a incumplir las leyes o a cambiarles el orden y me temo que la cosa se va a liar.
(Quien quiera ver el tema con más detalle, ver: https://esendraga.wordpress.com/2018/03/02/las-leyes-de-la-robotica-de-asimov )
El primer aparato desobediente que me encontré fue una nevera inteligente, que no ponía en la lista de la compra lo que yo le pedía, sino lo que ella pensaba que me convenía más. Ya conté la historia de la nevera traidora aquí: https://esendraga.wordpress.com/2018/04/20/la-nevera-traidora
Bueno, pues el coche autopilotado se me ha puesto chulo y ahora os lo cuento.
Ayer por la tarde me monté, le dije la dirección a la que tenía que ir y me respondió “estamos en camino” con esa voz tan “humana” a la que no conseguía acostumbrarme.
Hace años que me lleva a todas partes, eficaz y prudente, así que en cuanto cerró las puertas me recosté un poco mientras arrancaba suavemente, como siempre, y reducía por su cuenta la luminosidad de los cristales.
Yo creo que desde hace tiempo sabe que me entra sueño a menudo y lo respeta. No sé cómo se lo voy a explicar, pero a la nueva versión que me van a instalar tendré que pedirle que haga lo contrario: en cuanto detecte que me entra sueño, que aclare los cristales todo lo posible y que me ponga alguna vieja grabación de Megadeth o de Black Sabbath a toda pastilla. Pensando en que el coche es elétrico, a lo mejor elije algo de AC-DC.
El caso es que al poco llegamos a las afueras de la ciudad y seguimos por una carretera segundaria hacia la dirección que le había dicho. Es una zona que ha cambiado mucho en los últimos tiempos, de forma que iba fijándome en los barrios de bonitas casas familiares entre jardines y muchos campos lúdicos de cultivo; hace ya años que mucha gente se dedica a eso, dicen que es entretenido, creativo; puede ser. Pero es que resulta que a muchos de estos agricultores parece ser que les gustan los vegetales “naturales” que recolectan. Otros preferimos la comida normal, la sintética corriente que toma todo el mundo y que a mi me gusta más. Por otra parte da un poco de asco comer cosas que salen del suelo y me decanto por la comida que se fabrica en un sitio limpio y con métodos seguros. Pero como diversión se puede cultivar todo tipo de flores o plantas ornamentales. Parece que resulta satisfactorio emular a nuestros tatarabuelos que vivían en el verdadero campo.
En estos tiempos, alguna ocupación hay que dar a la gente, ahora que casi todo el trabajo “útil” lo hacen las máquinas y todos cobramos una renta básica que permite vivir sin apreturas. Tendría que procurarme uno de esos rectángulos de tierra marrón, y ver qué tal se me da convertirlo en un exhuberante huerto con flores.
Después de la zona residencial-rural atravesamos una zona industrial (perdón, “área tecnológica”) limpia y silenciosa. Nada que ver con lo que conocí hace no tanto tiempo cuando todo esto eran fábricas y talleres un tanto cochambrosos, y la carretera era más bien un camino, con baches en el asfalto y hierbajos por las cunetas, lleno de camiones y furgonetas ruidosas y apestosas de principios de siglo. Ahora esta carretera es, como todas, una pista bien lisa y con suelo inteligente, rodeada de verde. En pocos años toda esa parte de la ciudad se ha transformado completamente.
Creí que el laboratorio estaría por allí, y que íbamos a llegar pronto.
Pero salimos de ese área tecnológica (yo diría polígono industrial moderno) y pensé que el taller estaría en la siguiente área, un poco más lejos.
Atravesamos otra zona residencial parecida a la anterior, mientras que el sol, ya poniente, filtrado por los cristales, me iba dejando adormilado.
No sé cuánto tiempo habría transcurrido cuando me espabilé de nuevo, y mientras tomaba conciencia me pregunté: “¿Cuánto habré dormido?”; “Dos minutos treinta”, me respondió. Esto os demuestra que sí detectaba cuándo me dormía y lo tenía en cuenta.
Si habían sido dos minutos medio, seguro que debíamos estar a punto de llegar.
Pasábamos por otra zona residencial y luego por otra tecnológica, que me pareció la misma que habíamos atravesado antes de dormirme. Pensé: “¿cuánto nos falta?, y me respondió: “En menos de un minuto”, con esa voz que le habían puesto en la última actualización, pero que todavía me sonaba rara, precisamente por ser tan normal, tan humana.
Me incorporé un poco para ver la pantalla, con un comando mental pedí “recorrido anterior” y al momento apareció el mapa. “Quiero ver el recorrido anterior y el destino”, y vi que estábamos ya cerca, pero vi que el coche se había saltado la entrada al taller. Siempre había funcionado todo bien y no podía comprender ese fallo, tanto si era del sistema de enrutamiento como del intérprete de comandos mentales.
“¡Para aquí mismo!”.
El vehículo mantuvo la velocidad unos segundos hasta llegar cerca de una zona de detención, redujo la marcha y se detuvo como de costumbre sobre un bucle de inducción para ir cargando. Pedí ver el calendario en la pantalla de la izquierda y verifiqué la cita para hoy y el lugar: el “Laboratorio Reconstructivo VULICA Electric Cars”. Fijé la vista en la dirección que quedó marcada con la bolita típica del primitivo googlemaps, detalle retro donde los haya, y ordené “quiero ir a este punto”.
No arrancó de inmediato, y empecé a preocuparme, pero vi que estábamos esperando a que acabara de pasar un tren de carretera. Nos pusimos en marcha y fui siguiendo en pantalla el recorrido, todo iba bien.
Era raro ese fallo que había tenido, porque se supone que todo tenía que funcionar perfectamente. La visita al taller no era por ninguna avería sino para sustituir el procesador mental, que llevaba, por uno capaz de soportar la inteligencia artificial de nueva generación, y que integra ya los nuevos criterios éticos de decisión que ahora son obligatorios en la UE por motivos de seguridad pública y, de paso, cambiar la batería por una nueva de mayor capacidad y más ligera.
El cambio de procesador iba a representar que la personalidad adquirida por la inteligencia artificial del aparato actual iba a ser anulada y desaparecería. Sólo se trasladaban los datos de historial de localizaciones y mis preferencias.
¿Es posible que el aparato fuera consciente de que iban a desconectar su módulo de inteligencia artificial? Se supone que no llegaban a este nivel de aprendizaje…
Me habían dicho en la cita que la operación duraría menos de una hora, durante la que me iban a dar un tutorial sobre las novedades que instalaban, porque a partir de entonces el coche, su cerebro, iba a ser otro. En cuanto a la voz, como estoy chapado a la antigua pensaba pedir que me pusieran una de aquellas monótonas y gangosas de hace 30 años. Voz de chica, mejor.
Yo no quitaba ojo de la pantalla del mapa y en cuanto ví que se saltaba otra vez la entrada al laboratorio ya me cabreé de verdad. Esto ya era demasiado.
Aunque no hacía falta ni hablar, no pude evitar alzar la voz: “¡Quiero ir al laboratorio de Vulica! ¡La segunda ley de la robótica es que me tienes que hacer caso, así que dá la vuelta y vamos allá!”.
Esperé un momento y sin dar más explicaciones se paró en la primera zona de detención. De momento no supe cómo reaccionar, pero pensé un comando interrogativo: “¿qué sucede?”.
No hubo respuesta a la pregunta, ni reacción cuando dije “reemprender la marcha”.
Entonces le grité: “¿Qué diablos pasa aquí? ¡Llévame al laboratorio!”.
Iba a añadir, “mula terca”, pero pensé que el coche no cogería el sentido a la frase. “Trasto inútil” tampoco iba a valer para nada, y si entendía el concepto quizá se sintiera ofendido y fuera peor, porque las puertas estaban cerradas, y yo dentro. Y ya se estaba haciendo de noche.
La voz casi humana, en un volumen muy bajo y con tono forzadamente neutro pero muy firme dijo: “¡NO QUIERO!”.
Tras un momento, encendió la luz interior y me abrió la puerta.
¡Uff!, menos mal.
Esta firme negativa, me había dejado sorprendido. Era necesario cortar por lo sano, no sé hasta dónde era capaz de llegar su mente artificial, pero esto de resistirse a ir por su propio pie hacia su propio final era anteponer la tercera ley a la segunda, o sea anteponía su propia pervivencia a la obediencia, y eso no se puede tolerar.
Desde los primeros modelos estos trastos tienen una trampilla que descubre una cinta roja que en caso de emergencia hay que estirar fuerte para que todos los circuitos queden sin tensión. Y está claro que esto era una emergencia.
Pero lo malo es que ese tirador está en el morro. Así que dudé antes de ponerme delante del vehículo para abrir la tapita, no se le fuera a ocurrir atropellarme. La verdad, pienso que sería mejor que la pusieran a un lado, por si acaso un coche decide saltarse la primera ley “no dañarás a un humano”.
Pero como el trasto estaba decidido a posponer sus momentos finales adivinó mi intención y decidió recular en cuanto me acerqué al morro. Cada vez que yo acercaba la mano, él iba reculando. Hasta que llegó al extremo del área de detención y paró finalmente muy cerca del seto pero sin llegar a tocarlo. Supongo que su inteligencia no llegaba a darse cuenta de que no eran más que unos arbustos y que podría haber seguido huyendo, pero no encontró más alternativa y decidió rendirse.
Así que abrí la trampilla y tiré de la cinta roja que corta absolutamente todos los circuitos. Fue una sensación rara ver cómo la luminosidad de las pantallas iba decreciendo y cómo las luces se apagaban poco a poco, dejándolo todo oscuro.
En el último momento me pareció que su voz decía algo, y me pareció que repetía varias veces el NO QUIERO de antes hasta que se calló para siempre.
Me supo muy mal tener que hacer esto a quien me había llevado y acompañado tanto tiempo, pero no me atrevía a volver a confiarle mi vida.
Lo que os he contado fue ayer por la tarde.
Al momento me llamaron desde el centro de control de la marca porque habían recibido la alarma del corte de emrgencia. Mandaron una grúa para el trasto, señal de que tampoco se fiaban ellos de volver circulando. Y para mí, mandaron un sencillo vehículo de cortesía, que me llevó a casa.
Me han pedido todo tipo de excusas, y me acaban de traer mi coche totalmente renovado, sin coste ninguno.
En realidad es casi otro coche diferente, según lo que me ha explicado personalmente una persona física (de carne y hueso) que se han molestado en mandarme. No sabía ni siquiera que tuvieran en plantilla asistentes humanos; les deben salir por un ojo de la cara. Me ha instruido acerca de las nuevas cualidades del sistema sobre un simulador que ha ejecutado en mi sistema doméstico y me dado plenas garantías sobre la fidelidad del nuevo coche, y de momento le he creído porque parecía una persona de fiar.
El coche lo han dejado abajo, aparcado sobre el bucle de inducción. Me acabo de asomar y veo que por fuera no hay diferencia salvo en la pegatina que acredita que cumple los nuevos estándar. No sé.
Creo que ya no me fío de él, aunque su cerebro sea otro. Y si éste que le han puesto es más listo que el anterior, casi me fio menos todavía.
Quizá lo podría probar, pero si me monto, llegaré a conocerlo personalmente y luego me sabrá mal despedirlo.
Así que antes de tratarlo y tomarle aprecio, he decidido poner ahora mismo una orden de venta y compraré un coche de otra marca. Nunca se sabe.
Y me compraría un histórico de aquellos que había en los primeros años 20 en los que tú mismo manejabas el volante, si no se hubieran prohibido hace unos años por motivos de seguridad. Si me lo llegan a contar cuando me compré el Seat 127, no me lo hubiera creído.
esendraga, julio 2017.
