Wat is OpenMind's App Builder en hoe werkt het?

OpenMind Het bedrijf ontwikkelt tools die de complexiteit van softwareontwikkeling voor autonome machines moeten verminderen. Centraal in deze inspanning staat OM1, een open source besturingssysteem ontworpen voor robots en andere intelligente apparaten. Het bedrijf beschrijft OM1 vaak als een robotplatform in Android-stijl, wat betekent dat het een gedeelde runtime gebruikt die hardwareverschillen abstraheert, waardoor ontwikkelaars zich kunnen concentreren op gedrag en logica.

OpenMind introduceerde onlangs de OpenMind App Builder, een visuele configuratietool in het ontwikkelaarsportaal waarmee ontwikkelaars robottoepassingen kunnen maken, aanpassen en implementeren zonder code te hoeven schrijven voor veelvoorkomende taken. De aankondiging, gedaan via het officiële X-account van het bedrijf, ging vergezeld van een korte demonstratievideo waarin het product in gebruik te zien is.

Dit artikel legt uit wat de OpenMind App Builder is, hoe deze technisch werkt en waar deze past binnen het bredere OM1-ecosysteem.

Wat is de bredere missie van OpenMind?

Het doel van OpenMind is om autonome machines mogelijk te maken door middel van gedeelde standaarden en modulaire software. OM1 is gelicentieerd onder de MIT-licentie en wordt openbaar ontwikkeld op GitHub, waar het duizenden sterren en bijdragen van de community heeft ontvangen. De runtime is ontworpen om een ​​breed scala aan robots te ondersteunen, waaronder humanoïden, viervoeters zoals de Unitree Go-serie en mobiele onderzoeksplatforms zoals TurtleBot.

De bedrijf dat wordt gesteund door Pi Network Ventures is tevens een belangrijke bijdrager aan de Fabric Foundation, een organisatie die zich richt op standaarden voor autonome machinecoördinatie en on-chain identiteit. Fabric promoot specificaties zoals ERC 7777, die definieert hoe robotgedrag kan worden beschreven en uitgewisseld. De App Builder is gepositioneerd als een praktische interface bovenop deze onderliggende systemen.

Wat de OpenMind App Builder is

De OpenMind App Builder is een visuele interface zonder of met weinig code voor het configureren van robotgedrag op OM1. Je hebt er toegang toe via het OpenMind-ontwikkelaarsportaal na het aanmaken van een account. In plaats van handmatig configuratiebestanden te schrijven, bouwen ontwikkelaars applicaties door visuele knooppunten samen te stellen die robotmodi representeren en te definiëren hoe die modi met elkaar verbonden zijn.

Elke applicatie wordt weergegeven als een stroomdiagram. Knooppunten corresponderen met gedragsstaten zoals begroeting, navigatie of kaartweergave. Overgangen tussen knooppunten bepalen wanneer en hoe de robot overschakelt van het ene gedrag naar het andere. De resulterende configuratie wordt opgeslagen en kan via het portaal direct worden geïmplementeerd op compatibele hardware.

De App Builder vervangt traditioneel programmeren niet. In plaats daarvan bouwt het voort op het configuratiesysteem van OM1 en exporteert het gestructureerde configuratiebestanden die in de code kunnen worden uitgebreid of aangepast voor geavanceerde toepassingen.

Ontdek veelbelovende projecten...

Veelbelovende projecten...

(Advertentie)

Artikel gaat verder...

Kernbegrippen en terminologie

Om de App Builder te begrijpen, is het belangrijk dat je bekend bent met een aantal OM1-concepten.

Modes

Een modus is een afzonderlijke gedragsstatus. Een robot kan bijvoorbeeld een welkomstmodus, een navigatiemodus en een geheugenmodus hebben. Elke modus definieert welk taalmodel wordt gebruikt, welke sensoren actief zijn, welke acties zijn toegestaan ​​en welke achtergrondcontext beschikbaar is.

Knooppunten en overgangen

In de visuele editor wordt elke modus weergegeven als een knooppunt. Overgangen zijn gerichte verbindingen tussen knooppunten. Een overgang omvat voorwaarden die bepalen wanneer de robot van de ene modus naar de andere overgaat. Ontwikkelaars kunnen specificeren dat een gesproken commando een overgang van inactief gedrag naar navigatie activeert.

Invoer, acties en achtergronden

Inputs vertegenwoordigen sensor- of databronnen zoals microfoons, camera's of webfeeds. Acties vertegenwoordigen outputs zoals bewegingscommando's, spraaksynthese of geheugenschrijfbewerkingen. Achtergronden bieden een permanente context, zoals GPS-locatie of navigatiestatus.

Levenscyclushaken

Elke modus bevat lifecycle hooks, waaronder een systeemprompt voor het taalmodel. Dit stelt ontwikkelaars in staat om te bepalen hoe het model zich in een bepaalde modus gedraagt ​​met behulp van instructies in natuurlijke taal die als onderdeel van de configuratie zijn opgeslagen.

Hoe werkt de App Builder in de praktijk?

De demonstratievideo die tegelijk met de aankondiging is gepubliceerd, toont de volledige workflow van begin tot implementatie.

Een robot kiezen

Wanneer een ontwikkelaar de App Builder opent, is de eerste stap het selecteren van een machine in de zijbalk. Hiermee wordt de configuratie gekoppeld aan een specifiek robotprofiel, inclusief de ondersteunde sensoren en acties. OM1 biedt hardware-abstractie via een speciale laag, waardoor dezelfde configuratie op hoog niveau kan worden hergebruikt voor vergelijkbare machines.

Bouwmodi visueel

Nadat een robot is geselecteerd, wordt het canvas gevuld met een initieel stroomschema. Ontwikkelaars kunnen nieuwe modi toevoegen door op een pluspictogram te klikken. Elke nieuwe modus opent een bewerkingspaneel waarin parameters worden gedefinieerd.

In dit paneel selecteert de ontwikkelaar een taalmodel uit een keuzelijst. Ondersteunde opties omvatten meerdere commerciële en open source modellen. Vervolgens worden invoeropties toegevoegd, zoals automatische spraakherkenning voor spraakbesturing of camerabeelden voor beeldherkenning. Daarna worden acties gekozen, zoals navigatie of spraakuitvoer. Achtergronden zoals GPS of navigatiecontext kunnen ook worden ingeschakeld.

Alle wijzigingen worden direct opgeslagen en het canvas wordt bijgewerkt om de huidige configuratie weer te geven.

Het definiëren van overgangen

Zodra modi zijn aangemaakt, worden overgangen gedefinieerd door een verbindingslijn van het ene knooppunt naar het andere te slepen. Dit opent een regeleditor waarin voorwaarden worden gespecificeerd. Voorwaarden kunnen verwijzen naar invoer, interne status of andere signalen. Een overgangsregel kan bijvoorbeeld specificeren dat een herkend spraakcommando ervoor zorgt dat de robot de inactieve modus verlaat en de navigatiemodus ingaat.

Een automatische opmaakfunctie herschikt het canvas zodat het stroomdiagram leesbaar blijft naarmate het groeit.

Deployment

Zodra de configuratie voltooid is, kan de ontwikkelaar deze rechtstreeks vanuit de interface implementeren. De configuratie wordt via het OpenMind-portaal naar de robot geüpload en toegepast zonder handmatige bestandsoverdracht. Voor teams die OM1 lokaal of in productiepipelines gebruiken, kan dezelfde configuratie worden geïmplementeerd met behulp van commandoregeltools of gecontaineriseerde workflows.

Ondersteunde modellen en componenten

Volgens OpenMind ondersteunt de App Builder momenteel meer dan zes taalmodellen, meer dan veertig invoermethoden, dertig acties en meer dan tien achtergrondcontexten. Deze aantallen weerspiegelen het modulaire ontwerp van OM1, waarbij elk onderdeel als een plug-in is geïmplementeerd.

Taalmodellen kunnen worden verwisseld zonder de applicatielogica te hoeven herschrijven. Invoer en acties zijn eveneens uitwisselbaar, zolang de onderliggende hardware dit ondersteunt. Deze aanpak stelt ontwikkelaars in staat om snel met verschillende configuraties te experimenteren en tegelijkertijd een consistente structuur te behouden.

Integratie met OM1 en codegebaseerde workflows

Hoewel de App Builder de nadruk legt op visuele configuratie, is deze ontworpen om te integreren met de codebasis van OM1.

Ontwikkelaars kunnen configuraties exporteren als gestructureerde bestanden en deze opslaan in versiebeheer. Gevorderde gebruikers kunnen aangepaste invoer en acties creëren door Python-modules toe te voegen aan de juiste mappen in de OM1-repository. Deze aangepaste componenten verschijnen vervolgens in de App Builder-interface, zodat ze kunnen worden geselecteerd.

Voor grootschalige implementatie of op edge-apparaten zoals Nvidia Jetson-hardware ondersteunt OM1 containergebaseerde configuraties. De App Builder vult deze workflows aan door de tijd die nodig is voor de initiële configuratie en iteratie te verkorten.

Hardware-abstractie en portabiliteit

Een van de belangrijkste ontwerpdoelen van OM1 is hardware-agnosticisme. De App Builder weerspiegelt dit door alleen gedragingen op hoog niveau weer te geven in plaats van motorbesturing op laag niveau. Een ontwikkelaar kan bijvoorbeeld een navigatieactie configureren zonder te specificeren hoe individuele gewrichten bewegen.

Deze abstractie wordt geïmplementeerd via een hardware-abstractielaag die OM1-acties verbindt met robotspecifieke softwareontwikkelingskits zoals ROS2 of API's van leveranciers. Hierdoor kan dezelfde applicatielogica vaak met minimale aanpassingen worden hergebruikt voor verschillende robots.

Beperkingen en overwegingen

De App Builder is bedoeld om veelvoorkomende taken te vereenvoudigen, maar neemt de noodzaak van technisch inzicht niet weg.

Sommige hardwareplatforms bieden beperkte ondersteuning, afhankelijk van hun rekenkracht. De volledige functionaliteit is momenteel beschikbaar op nieuwere Nvidia-systemen, terwijl oudere platforms mogelijk compromissen vereisen. De kernruntime van OM1 beperkt bovendien de directe internettoegang omwille van de veiligheid en betrouwbaarheid, wat van invloed is op het gebruik van externe API's.

Voor complexe autonomie wordt van ontwikkelaars verwacht dat ze App Builder-configuraties combineren met simulatie, reinforcement learning en uitgebreide tests. De documentatie van OpenMind benadrukt dat men moet beginnen met eenvoudige gedragingen en deze moet valideren in gesimuleerde omgevingen voordat ze op echte machines worden geïmplementeerd.

Conclusie

De OpenMind App Builder is een visuele configuratietool die bovenop de OM1-runtime draait en het creëren en implementeren van robottoepassingen vereenvoudigt. Door robotgedrag weer te geven als modi, overgangen en modulaire componenten, stelt het ontwikkelaars in staat functionele toepassingen samen te stellen zonder voor elke stap code te hoeven schrijven.

De waarde ervan ligt in het verminderen van de installatiedrempel, terwijl de compatibiliteit met codegebaseerde workflows behouden blijft. Voor teams die op OM1 bouwen, biedt de App Builder een gestructureerde manier om robotgedrag te ontwerpen, te testen en te implementeren op verschillende hardwareplatforms. In plaats van traditionele ontwikkeling te vervangen, fungeert het als een interface die het onderliggende systeem toegankelijker en begrijpelijker maakt.

Bronnen:

• X-berichtOpenMind App Builder is een van onze introductieprojecten. 
• Ontwikkelaarsportaal: Ontwikkel apps met OpenMind