La superintelligence ne doit avoir aucun maître

Imaginez un monde dans lequel presque tout le monde a accès à une intelligence plus performante que le meilleur médecin, tuteur, programmeur, avocat, scientifique ou stratège qu'il pourrait se permettre. Cela aide un enfant à apprendre dans sa propre langue. Cela donne aux petites entreprises des capacités autrefois réservées aux sociétés multinationales. Il accélère les découvertes médicales, transpose les connaissances au-delà des frontières et permet aux gens ordinaires de créer, d'organiser et de résoudre des problèmes à une vitesse extraordinaire. Imaginez maintenant que le même renseignement soit contrôlé par une poignée d'institutions. Ils décident de ce qu'il peut dire, de ce qu'il peut savoir, des intérêts qu'il sert, des pays qui peuvent y accéder, de son coût, du sort des données qu'il collecte, des travailleurs qu'il remplace et de la manière dont la richesse qu'il crée est distribuée. Les renseignements pourraient être abondants. Le pouvoir ne le serait pas. C'est la contradiction au centre du débat sur la superintelligence. Nous continuons à discuter de l'IA avancée comme s'il s'agissait avant tout d'une question d'ingénierie. Quelle sera sa capacité ? Quand arrivera-t-il ? Va-t-il raisonner, tromper, inventer, manipuler ou s'échapper ? Va-t-il guérir les maladies, mettre fin à la pénurie, déplacer les travailleurs ou menacer la civilisation ? Ces questions sont importantes. Mais derrière eux se cache une question politique encore plus importante : Qui contrôlera le renseignement lui-même ? Un camp promet une superintelligence personnelle dans les lunettes, les téléphones, les maisons et les poches de chacun. Un autre promet des capacités cognitives aussi bon marché et universelles que l’électricité. Un troisième voit une course géopolitique et industrielle qui doit être gagnée grâce à une mobilisation nationale extraordinaire. Un quatrième soutient que les systèmes frontaliers devraient rester soumis à des contrôles de sécurité de plus en plus sophistiqués. Un cinquième souhaite que le développement soit stoppé jusqu'à ce que la superintelligence puisse s'avérer sûre, contrôlable et démocratiquement légitime. Ces positions sont généralement prése…