Michael Fleischman ist CTO und Mitgründer von OpenSpace

In meinem letzten Beitrag ging es darum, was es bedeutet, KI-Agenten Augen zu geben: Sie auf reale Baustellendaten zugreifen zu lassen, damit sie erkennen können, was vor Ort tatsächlich passiert. Man könnte sagen: Wir bringen die Baustelle zum Agenten. Der Issue Review Agent, den ich in diesem Beitrag beschrieben habe, ist ein gutes Beispiel dafür: Er kann Vorher-Nachher-Bilder eines offenen Mangels betrachten und selbstständig beurteilen, ob der Mangel gelöst wurde.

Doch so wirkungsvoll es ist, die Baustelle zu den Agenten zu bringen, noch wirkungsvoller ist es, Agenten auf die Baustelle zu bringen.

Denn der wertvollste Moment in einem Bauprojekt ist nicht der, in dem jemand einen Bericht prüft. Es ist der Moment, in dem jemand direkt vor der tatsächlichen Arbeit steht, genau dort, wo sie passiert.

Das ist die nächste Stufe für Agenten mit Augen: Agenten auf der Baustelle.

Die Herausforderung: Agenten auf die Baustelle bringen

Einen Agenten vom Büro auf die Baustelle zu bringen, ist mehr als eine Änderung der Benutzeroberfläche. Es verändert grundlegend, was der Agent wissen muss.

Agenten, die auf der Baustelle arbeiten, brauchen nicht nur Augen, also die Fähigkeit zu sehen, was vor Ort passiert. Sie müssen auch wissen, wo sie gerade sind. Denn die wichtigsten Fragen auf einer Baustelle lassen sich nur beantworten, wenn der Agent weiß, wo „hier“ ist: Was sollte in diesem Raum installiert sein? Wie sieht diese Wand im Vergleich zur letzten Woche aus?

Draußen ist dieses Problem seit Jahrzehnten durch GPS gelöst. Aber in Gebäuden funktioniert GPS nicht.

GPS braucht eine direkte Sichtverbindung zu Satelliten. Wände und Decken blockieren diese Verbindung. Hardware-basierte Lösungen wie Bluetooth Beacons gibt es zwar, aber sie sind teuer in der Einrichtung, schwer zu kalibrieren und auf einer Baustelle, die sich jeden Tag verändert, kaum praktikabel. Um dieses Problem zu lösen, mussten wir einen neuen Weg finden, Standorte auf der Baustelle zu bestimmen. Da wir keine passende Lösung gefunden haben, haben wir unsere eigene gebaut.

KI-Autolokalisierung: GPS für die Baustelle

Wir nennen diese Technologie KI-Autolokalisierung. Und sie könnte der größte technische Durchbruch sein, den wir seit der Gründung von OpenSpace erreicht haben. Sie braucht kein GPS und keine externe Hardware, also keine Beacons und keine Wireless Access Points. Sie basiert auf unserer 360°-Erfassungstechnologie. Alles, was man dafür braucht, ist ein Smartphone.

So funktioniert es: Jedes Mal, wenn ein Projektmitglied eine 360°-Aufnahme mit OpenSpace macht, werden die erfassten Bilder von unserer Spatial AI Engine verarbeitet und mit den Sensordaten des Smartphones zusammengeführt. Daraus entsteht eine sogenannte Sensor Map: eine Art räumlich indexierter Fingerabdruck dieses Ortes zu genau diesem Zeitpunkt.

Wenn ein Teammitglied später denselben Bereich betritt, auch ohne 360°-Kamera und nur mit dem Smartphone in der Tasche, vergleicht das System die Sensordaten des Geräts kontinuierlich mit den Sensor Maps früherer Aufnahmen. Im Prinzip ist das ein Matching-Problem, ähnlich wie bei einer Musikerkennungs-App wie Shazam: Wenige Sekunden Audio reichen aus, um einen Song zu erkennen. Nur dass wir keinen Song identifizieren, sondern bestimmen, wo Sie sich auf dem Grundriss befinden. In Echtzeit. Ohne externe Hardware.

Das Ergebnis: Ihr Standort wird kontinuierlich erfasst, und zwar nur mit dem Smartphone, das Sie ohnehin in der Tasche haben.

KI-Autolokalisierung lernt, Ihren Standort ohne externe Hardware zu bestimmen.

Entscheidend ist: Dieses System lernt kontinuierlich weiter. Je häufiger eine Baustelle erfasst wird, desto besser werden die Standortschätzungen. Je mehr Teammitglieder es nutzen, desto besser versteht das Modell, wie sich Menschen tatsächlich durch Baustellen bewegen. Und desto genauer kann es Standorte auch in den uneindeutigen, halbfertigen Räumen vorhersagen, die eine aktive Baustelle ausmachen.

Wir haben dieses Modell mit unserem Datensatz aus mehr als 6 Milliarden Quadratmetern Baudaten trainiert — einem Datensatz, den es so nirgendwo sonst auf der Welt gibt. Mit diesem Modell können unsere Agenten einschätzen, wo sie sich auf einer Baustelle tatsächlich befinden.

Genau das macht Agenten auf der Baustelle wirklich hilfreich. Ohne diese Fähigkeit ist ein Agent auf dem Smartphone nur ein Agent auf einem kleineren Bildschirm. Mit ihr weiß der Agent tatsächlich, wo er ist, und kann seine Unterstützung an den konkreten Ort auf der Baustelle anpassen.

Ein Beispiel für einen Agenten auf der Baustelle: der Walk & Talk Buddy

Einen der ersten Agenten für die Baustelle, die wir entwickelt haben, nennen wir den „Walk & Talk Buddy“: eine Art persönlicher Projektassistent für die Hosentasche, der Sie bei der Begehung begleitet. Das macht er:

  • Während sich ein Projektmitglied über die Baustelle bewegt, wird der Standort in Echtzeit verfolgt und in unserer mobilen App als beweglicher Punkt auf dem Grundriss angezeigt.
  • Jedes Foto, das diese Person aufnimmt, wird automatisch genau an der Stelle auf dem Plan verortet, an der das Foto entstanden ist.
  • Kein Rätselraten mehr, wo ein Foto aufgenommen wurde. Keine unbeschrifteten Bilder mehr, die ohne Kontext in einem freigegebenen Ordner liegen. Jedes Foto hat einen Standort.

Noch interessanter wird es aber, wenn die Person spricht.

Der „Walk & Talk Buddy“ ist ein Agent für die Baustelle, der weiß, wo Sie sich befinden und worüber Sie sprechen.

Der Walk & Talk Buddy transkribiert alles, was das Teammitglied sagt. Anders als bei einer normalen Sprachnotiz wird jedoch jeder Teil dieses Transkripts mit dem Zeitpunkt und dem Standort versehen, an dem er gesprochen wurde. Wir nennen diese ortsbezogenen Transkripte „Spatial Transcripts“. Sie eröffnen großen Mehrwert für alle, die direkt auf der Baustelle arbeiten.

Denken Sie daran, was ein Bauleiter bei einer Begehung tut: beobachten, beschreiben, festhalten, was erledigt ist, was nicht stimmt und was nachverfolgt werden muss. Mit einem Spatial Transcript können AI Field Agents diese Beobachtungen automatisch nach Standort ordnen. Daraus können Mängellisten, Fortschrittsnotizen, Aufgaben oder – mein Lieblingsanwendungsfall – automatisch generierte Bautagebücher entstehen. Und zwar genau in dem Format, das das Projekt verlangt, ohne ein einziges Wort tippen zu müssen.

Es ist, als hätten Sie einen persönlichen Assistenten, der Ihnen über die Baustelle folgt.

Ein Bautagebuch, das von einem Agenten auf der Baustelle mithilfe von KI-Autolokalisierung automatisch erstellt wurde.

Was als Nächstes kommt

Heute bedeutet das: Ein Agent erkennt, wo Sie sich auf der Baustelle befinden, und kann Sie direkt unterstützen, sobald Sie Ihr Smartphone öffnen. So sieht der erste Schritt hin zu Agenten auf der Baustelle aus.

Doch das Smartphone ist erst der Anfang.

Eine weitere Technologie setzt sich gerade auf Baustellen durch. Viele auf der Baustelle tragen sie bereits. Sie macht die Anwendung von Agenten noch natürlicher, weil sie besser dazu passt, wie Teams auf der Baustelle tatsächlich arbeiten: mit freien Händen, mitten im Geschehen und ohne ständig auf ein Display schauen zu müssen.

Das ist keine ferne Zukunft. Diese Technologie ist bereits im Einsatz, und ihre Verbreitung nimmt schnell zu.

Mehr dazu bald… 😎 Bleiben Sie dran.

Erfahren Sie mehr über Agenten mit Augen im Zeitalter der KI-Agenten

Hier finden Sie weitere Artikel aus unserer Serie über KI-Agenten: