Bild aus Hagmann et al. (2008), CC BY 3.0, Wikipdia.

Zur Zeit entwickeln sich die Fähigkeiten von Maschinen komplexe Probleme zu lösen rasant weiter. Aktuellstes Beispiel ist GPT-3, ein künstliches neuronales Netz, das von OpenAI entwickelt wurde und 175 Milliarden Parameter umfasst. GPT-3 ist ein Computermodell, das menschliche Sprache verarbeiten und ausgeben kann. GPT-3 kann fiktive Texte erzeugen, juristischen Fachjargon in Alltagssprache übersetzen oder Programmcode schreiben. Die Mächtigkeit dieses Systems wird auch in philosophischen Fachkreisen diskutiert. Auf diese Diskussion wiederum hat der Philosoph Raphaël Millière GPT-3 Antworten verfassen lassen. Eine sehr interessante Diskussion dazu findet man im Heise-Journal. GPT-3 ist sicher beeindruckend aber man sollte sich auch nicht vorschnell täuschen lassen. Wenn man den Eindruck hat, einer intelligenten Maschine gegenüber zu stehen, heißt dies nur, dass diese sehr überzeugend ist. Über ihr Verständnis von Sprache oder gar Intelligenz im Allgemeinen, sagt dies nur begrenzt etwas aus.

Soziale Kritik: stochastische Papageien

Mittlerweile gibt es natürlich auch erhebliche Kritik an Machine Learning. Aktuelles Beispiel ist Timnit Gebru, die – wie der Heise-Verlag berichtete – vor kurzem den Bereich der Ethik-Forschung zu KI bei Google verlassen musste. Grund war wohl ein noch unveröffentlichter Fachaufsatz mit dem Titel „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”. Dieser äußerte erhebliche Kritik an den neuen mächtigen KI-Modellen. Machine Learning Modelle, die auch die Google-Suche (durch das Modell BERT) befeuern als „stochastische Papageien“ zu bezeichnen, war wohl etwas zu viel für die Chefabteilung. Allerdings leuchtet es doch ein, dass Modelle, die an Datensätzen aus dem Internet trainiert werden, sexistische und rassistische Vorurteile reproduzieren. So scheint bestimmte Gesichtserkennungssoftware am besten bei weißen Männern zu funktionieren. Außerdem werden viele Bevölkerungsgruppen und Kulturen überhaupt nicht in den Modellen berücksichtigt, weil sie keinen oder nur einen weniger guten Zugang zum Internet haben und sie und ihre Kultur in den Trainingsdatensätzen nicht angemessen repräsentiert sind. Emily Bender – Koautorin von Timnit Gebru – wird im MIT-Technology-Review mit folgenden Worten zitiert: “And because the upsides are so obvious, it’s particularly important to step back and ask ourselves, what are the possible downsides? … How do we get the benefits of this while mitigating the risk?”.

Ökologische Kritik: Energiehunger und CO2-Maschinen

Ein weiteres Problem ist der enorme Bedarf an Rechenleistung und Daten, die wiederum zu einem erheblichen Energieverbrauch und CO2-Ausstoss führen. Nach Strubell et al. (2019) produziert das Training eines großen neuronalen Netzwerkes bis zu 284 Tonnen CO2 oder die Menge an CO2, die fünf PKWs in ihrer Lebenszeit ausstoßen. Die Daten von Strubell et al. habe ich in eine deutsche Tabelle übersetzt und mit datawrapper erstellt (siehe weiter unten). Der Energiehunger steigt trotz zunehmend effizienterer und auf Machine Learning spezialisierter Hardware wie GPUs (aka Grafikkarten) oder TPUs (Tensor Processing Units).

Weiter in Richtung ökologische effizienter KI

Machine Learning Modelle können natürlich direkt für ökologisch relevante Fragestellungen entwickelt werden, wie im Bereich der Klimaforschung und des Naturschutzes (z.B. für sogenannte Habitat- oder Verbreitungsmodelle). Um das ganze aber nicht absurd werden zu lassen, sollten solche Modelle effizient mit Rechenpower, Daten und Energie umgehen.

Mittlerweile gibt es einfache Werkzeug, um Kohlendioxidemission von Machine Learning Modellen zu berechnen und sie stellen die wichtigsten Faktoren da, die diese beeinflussen (Lacoste et al., 2019). In diese Berechnungen gehen unter anderem die verwendete Hardware (CPU, GPU, TPU), die Trainingszeit, sowie der Bereitsteller der technischen Infrastruktur (Clouddienstleister oder eigene Infrastruktur) und die Region mit ein. Ein anderer Ansatz ist es speziellen Code in das Modell zu integrieren – einen sogenannten Emission-Tracker – (Henderson et al., 2020). Solche Ansätze ließen sich nutzen, um die ökologische Effizienz neuer Modelle zu bewerten. Ziel könnte es sein sogenannte Green AI zu entwickeln (Schwartz et al. 2019).

Um die ökologische Effizienz zu erhöhen gibt es verschiedene Optionen:

  • Die Nutzung spezialisierter Hardware, die effizient Machine Learning Algorithmen berechnet also vor allem von TPUs.
  • Das Finetuning bestehender Modelle, z.B. in dem Modellierungsframework Keras in Python. Dazu findet man hier einen allgemeinen Artikel und hier einen zur praktischen Implementierung.
  • Nutzung von winning tickets in großen neuronalen Netzwerken. Winning tickets sind kleinere Teile großer Netzwerke, die den wichtigsten Teil der Funktion übernehmen und den Großteil der Performance liefern. Ein Problem dabei ist aber, dass diese winning tickets erst im Nachhinein aus großen Netzwerken extrahiert werden können, jedenfalls bisher (lottery hypothesis).
  • Die Nutzung lokaler Machine Learning Modelle, die nicht auf das Streamen großer Datenmengen (was wiederum viel Energie konsumiert) angewiesen sind.
  • Die Entwicklung von Modellen, die nur die wichtigsten Daten berücksichtigen (cherry picking).

Diese und mehr Informationen findet man in dem Artikel „Shrinking deep learning’s carbon footprint“ beim MIT. Reset hat außerdem eine interessante Broshüre zum Thema KI und Nachhaltigkeit herusgebracht. Ein weiterer interessanter Aspekt ist die Kompression von Videostreams durch Machine Learning, die von NVIDEA vorgestellt wurde. Anstatt das ganze Bild zu senden, können zum Beispie nur ein Referenzbild und zusätzlich Daten zu den wichtigsten Punkten eines Gesichtes verschickt werden, die dann beim Empfänger zu einem aktuellen Bild rekonstruiert werden. Dies spart Datenvolumen bei Vieostreams und könnte so deren Energiehunger reduzieren.

In der heutigen Zeit – in unserer „vollen Welt“, wie Ernst Ulrich von Weizsäcker zu sagen pflegt – kommen wir nicht darum herum technische Innovationen unmittelbar auch ökologisch einzuordnen. Das ist ein ganz schöner Spagat. Einerseits sollte man sich nicht der Verführung einer naiven Technikbegeisterung hingeben. Andererseits braucht man auch den Schub und die Motivation, die von neuen technischen Innovationen ausgehen. Ich kann mich jedenfalls trotz einer berechtigten sozial-ökologischen Kritik an Machine Learning Modellen für diese sehr begeistern. In den letzten Monaten habe ich viel Zeit mit statistischer Programmierung in R verbracht und den Vorteil von Automatisierungsprozessen zu schätzen gelernt. Mein nächstes Ziel ist es meine Python-Fähigkeiten zu verbessern. Einen ersten coolen Einblick habe ich bei den Workshops von Andreas Wygrabek bekommen.

Literatur

Henderson, P., Hu, J., Romoff, J., Brunskill, E., Jurafsky, D., Pineau, J., 2020. Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning. ArXiv Prepr. ArXiv200205651.

Lacoste, A., Luccioni, A., Schmidt, V., Dandres, T., 2019. Quantifying the carbon emissions of machine learning. ArXiv Prepr. ArXiv191009700.

Schwartz, R., Dodge, J., Smith, N.A., Etzioni, O., 2019. Green ai. ArXiv Prepr. ArXiv190710597.

Strubell, E., Ganesh, A., McCallum, A., 2019. Energy and policy considerations for deep learning in NLP. ArXiv Prepr. ArXiv190602243.