Michael Fleischman is CTO en medeoprichter van OpenSpace.

In mijn vorige artikel ging het over wat het betekent om AI-agenten ogen te geven: ze toegang geven tot echte bouwplaatsdata, zodat ze kunnen herkennen wat er ter plaatse daadwerkelijk gebeurt. Je zou kunnen zeggen: we brengen de bouwplaats naar de agent. De Issue Review Agent die ik in dat artikel beschreef, is daar een goed voorbeeld van. Die kan voor- en na-foto’s van een openstaand probleem bekijken en zelfstandig beoordelen of het probleem is opgelost.

Maar hoe krachtig het ook is om de bouwplaats naar agenten te brengen, het is nog krachtiger om agenten naar de bouwplaats te brengen.

Want het meest waardevolle moment in een bouwproject is niet wanneer iemand een rapport bekijkt. Het is het moment waarop iemand direct voor het uitgevoerde werk staat, precies daar waar het gebeurt.

Dat is de volgende stap voor agenten met ogen: agenten op de bouwplaats.

De uitdaging: agenten naar de bouwplaats brengen

Een agent van kantoor naar de bouwplaats brengen is meer dan een aanpassing in de gebruikersinterface. Het verandert fundamenteel wat de agent moet weten.

Agenten die op de bouwplaats werken, hebben niet alleen ogen nodig, dus het vermogen om te zien wat er ter plaatse gebeurt. Ze moeten ook weten waar ze zich bevinden. Want de belangrijkste vragen op een bouwplaats kan je alleen beantwoorden als de agent weet waar “hier” is: Wat had er in deze ruimte geïnstalleerd moeten zijn? Hoe ziet deze wand eruit vergeleken met vorige week?

Buiten is dit probleem al tientallen jaren opgelost met GPS. Maar in gebouwen werkt GPS niet.

GPS heeft een directe zichtlijn naar satellieten nodig. Muren en plafonds blokkeren die verbinding. Hardware-oplossingen zoals Bluetooth beacons bestaan wel, maar ze zijn duur om te installeren, lastig te kalibreren en nauwelijks praktisch op een bouwplaats die elke dag verandert. Om dit probleem op te lossen, moesten we een nieuwe manier vinden om locaties op de bouwplaats te bepalen. We vonden geen passende oplossing, dus hebben we er zelf één gebouwd.

AI Autolocation: GPS voor de bouwplaats

We noemen deze technologie AI Autolocation. En het zou weleens de grootste technische doorbraak kunnen zijn die we sinds de oprichting van OpenSpace hebben bereikt. Er is geen GPS voor nodig en ook geen externe hardware, dus geen beacons en geen wireless access points. De technologie is gebaseerd op onze 360° capture-technologie. Alles wat je nodig hebt, is een smartphone.

Zo werkt het: elke keer dat iemand uit het projectteam een 360° opname maakt met OpenSpace, worden de vastgelegde beelden verwerkt door onze Spatial AI Engine en samengebracht met de sensordata van de smartphone. Daaruit ontstaat een zogenaamde Sensor Map: een soort ruimtelijk geïndexeerde vingerafdruk van die locatie op dat specifieke moment.

Wanneer een teamlid later dezelfde ruimte betreedt, ook zonder 360° camera en alleen met een smartphone op zak, vergelijkt het systeem de sensordata van het apparaat continu met de Sensor Maps van eerdere opnames. In principe is dit een matching-probleem, vergelijkbaar met een muziekherkenningsapp zoals Shazam: een paar seconden audio zijn genoeg om een nummer te herkennen. Alleen identificeren wij geen nummer, maar bepalen we waar je je op de plattegrond bevindt. In real time. Zonder externe hardware.

Het resultaat: je locatie wordt continu bepaald, alleen met de smartphone die je toch al op zak hebt.

AI Autolocation leert je locatie te bepalen zonder externe hardware.

Belangrijk is: dit systeem blijft continu leren. Hoe vaker een bouwplaats wordt vastgelegd, hoe beter de locatie-inschattingen worden. Hoe meer teamleden het gebruiken, hoe beter het model begrijpt hoe mensen zich daadwerkelijk door bouwplaatsen bewegen. En hoe nauwkeuriger het locaties kan voorspellen, zelfs in de onduidelijke, half afgebouwde ruimtes die zo kenmerkend zijn voor een actieve bouwplaats.

We hebben dit model getraind met onze dataset van meer dan 6 miljard vierkante meter aan bouwdata, een dataset die nergens anders ter wereld bestaat. Met dit model kunnen onze agenten inschatten waar ze zich daadwerkelijk op een bouwplaats bevinden.

Precies dat maakt agenten op de bouwplaats echt waardevol. Zonder deze mogelijkheid is een agent op je smartphone gewoon een agent op een kleiner scherm. Met deze mogelijkheid weet de agent waar hij is en kan hij zijn ondersteuning aanpassen aan de exacte locatie op de bouwplaats.

Een voorbeeld van een agent op de bouwplaats: de PE Buddy

Eén van de eerste agenten voor de bouwplaats die we hebben ontwikkeld, noemen we de “PE Buddy”: een soort persoonlijke Project Engineer voor in je broekzak, die je tijdens een rondgang begeleidt. Dit doet hij:

  • Terwijl iemand uit het projectteam over de bouwplaats beweegt, wordt de locatie in real-time gevolgd en in onze mobiele app weergegeven als een bewegende stip op de plattegrond.
  • Elke foto die die persoon maakt, wordt automatisch vastgezet op precies de juiste plek op de tekening: de plek waar die persoon stond toen de foto werd gemaakt.
  • Geen giswerk meer over waar een foto is genomen. Geen losse, ongelabelde beelden meer in een gedeelde map zonder context. Elke foto heeft een locatie.

Nog interessanter wordt het wanneer iemand begint te praten.

De “PE Buddy” is een agent voor de bouwplaats die weet waar je bent en waar je het over hebt.

De PE Buddy zet alles wat het teamlid zegt om in tekst. Maar anders dan bij een gewone spraakmemo wordt elk deel van dat transcript voorzien van het tijdstip en de locatie waarop het werd uitgesproken. We noemen deze locatiegebonden transcripties “Spatial Transcripts”. Ze bieden veel waarde voor iedereen die direct op de bouwplaats werkt.

Denk aan wat een uitvoerder doet tijdens een rondgang: observeren, beschrijven, vastleggen wat klaar is, wat niet klopt en wat moet worden opgevolgd. Met een Spatial Transcript kunnen Field Agents deze observaties automatisch per locatie ordenen. Daaruit kunnen opleverlijsten, voortgangsnotities, taken of, mijn favoriete toepassing, automatisch gegenereerde dagrapporten ontstaan. Precies in het format dat het project vraagt, zonder ook maar één woord te hoeven typen.

Het is alsof je een persoonlijke assistent hebt die je over de bouwplaats volgt.

Een dagrapport dat door een agent op de bouwplaats automatisch is gemaakt met behulp van AI Autolocation.

Wat nu volgt

Vandaag betekent dit: een agent herkent waar je je op de bouwplaats bevindt en kan je direct ondersteunen zodra je je smartphone opent. Zo ziet de eerste stap richting agenten op de bouwplaats eruit.

Maar de smartphone is pas het begin.

Een andere technologie wint op dit moment terrein op bouwplaatsen. Veel mensen op de bouwplaats dragen die technologie al. Ze maakt het gebruik van agenten nog natuurlijker, omdat ze beter aansluit op hoe teams op de bouwplaats daadwerkelijk werken: met vrije handen, midden in het werk en zonder steeds naar een scherm te hoeven kijken.

Dit is geen verre toekomst. Deze technologie is er al, en de adoptie neemt snel toe.

Binnenkort meer hierover… 😎 Blijf op de hoogte.

Meer over agenten met ogen in het tijdperk van AI-agenten

Hier vind je meer artikelen uit onze serie over AI-agenten: