Internet of Things

Performance testing van IoT platform

Quby is doorlopend bezig met verbetering van haar Toon technologie, de slimme thermostaatmet energie display. ISAAC is gevraagd te participeren in een onderzoek naar de vernieuwing van een belangrijk communicatiedeel van dit platform (de message broker) en de gekozen oplossing te testen op performance en security; passend in de architectuur en groeiplannen van Quby. Dit is uitgevoerd in een integrale test van de beschikbare oplossingen, op een schaal waar zelfs AWS het warm van kreeg.

Klantnaam: Quby
URL: www.quby.com
Oplossing: Test- en adviestraject message broker
Bijzonder: Performance test op grote schaal

    Ingrediënten:
  • HAProxy
  • Jmeter
  • Java
  • HiveMQ
  • MQTT
  • RabbitMQ
  • Amazon AWS
Wilt u ook een modern e-commerce platform?

Toon groeit naar ongekende hoogte

De slimme thermostaat Toon wordt in steeds meer huizen gebruikt. Quby is de partij achter Toon en verzorgt de doorontwikkeling en operatie van deze slimme thermostaat met energie display. Vanuit het Toon device wordt gecommuniceerd met de systemen van Quby, om data uit te wisselen en rapportages te genereren. Door de grote huidige en verwachte groei van Toon, keek Quby naar een manier om de berichtenstroom te optimaliseren, zowel op gebied van security als op performance. Overleg en onderzoek door Quby en ISAAC heeft ertoe geleid om MQTT als protocol te gebruiken om de berichten uit te wisselen. MQTT wordt steeds meer gebruikt binnen Internet of Things (IoT), vanwege het lightweight protocol en de simpele opzet hiervan. De volgende stap was het zoeken naar de optimale message broker om deze berichtenstroom af te handelen, binnen de omvang en opzet van het Quby platform.


ISAAC als onderdeel van het Quby ontwikkelteam

Voor het selecteren en testen van de beste MQTT broker, is gekozen om dit traject volledig bij ISAAC neer te leggen. Omdat de MQTT broker onderdeel is van het dagelijkse, bedrijfskritische Quby platform, was nauwe samenwerking en geregeld overleg uiteraard van groot belang. ISAAC heeft, onder leiding van een vaste Applicatie Architect, een team samengesteld die zich met dit project bezig heeft gehouden.


Geen standaard oplossing

Het communicatieplatform van Toon is alles behalve standaard: zo vinden er continu temperatuursmetingen plaats, het device is op afstand te besturen door de gebruiker en de interface wordt periodiek voorzien van een bijgewerkt weerbericht. Deze mix van actieve en passieve communicatie met verschillende vereisten voor de snelheid van verwerking heeft voor een groot pakket aan wensen en vereisten voor de message brokers gezorgd.


Traject van voorselectie

Het selectietraject is gestart met het in kaart brengen van beschikbare MQTT brokers. Alle brokers werden langs de meetlat gelegd en vergeleken op basis van mogelijkheden en specificaties. Een groot aantal MQTT brokers viel direct af door een gemis in functionele mogelijkheden of het niet aankunnen van de geplande schaalgrootte. Er is nauw contact geweest met de verschillende vendors achter de brokers. Uiteindelijk heeft dit geleid tot drie brokers die door zijn gegaan naar de daadwerkelijke security en performance test: HiveMQ, AWS IoT en RabbitMQ.


Performance testing

Het echte testen kon op dat moment beginnen. De verschillende brokers is het vuur aan de schenen gelegd via meerdere opgezette testconfiguraties met meer dan 1.000.000 connected devices. Hiervoor is door ISAAC een eigen ontwikkelde testopzet gemaakt op basis van JMeter, waarmee testscenario’s zo ingericht kunnen worden dat ze een weerspiegeling worden van de uiteindelijke productiesituatie. Dit heeft er uiteindelijk toe geleid dat er een uitstekend beeld op verschillende indicatoren is verkregen. De performancecijfers zijn gebaseerd op testsituaties die bij geen enkele van de geteste brokers reeds eerder waren uitgevoerd.

De testconfiguratie is uitgevoerd in een AWS cloud-omgeving. Hiervoor is nauw contact geweest met alle betrokken leveranciers over de best te gebruiken configuratie van masters, slaves en load balancers. Ook vanuit Amazon waren er geen cijfers voorhanden over situaties van deze omvang en specificaties. Tijdens het daadwerkelijk testen zijn we dan ook tegen verschillende problemen aangelopen die in overleg met alle partijen uiteindelijk zijn opgelost.

De tests zijn uitgevoerd en op basis daarvan is de eindrapportage en ons advies opgesteld. Deze is door Quby gebruikt om mede haar keuze te maken voor de best passende MQTT broker.

Toegepaste expertises:

  • API design
  • Strategie
  • Applicatiebeheer en optimalisatie