De uitdaging van enorme hoeveelheden observability data - wanneer is het te veel?
Digitale transformatie is niet meer weg te denken, elke sector is ermee bezig naarmate we steeds afhankelijker worden van softwaregedreven diensten. Door deze trend hebben klanten en eindgebruikers echter ook steeds hogere verwachtingen: organisaties moeten kwalitatief betere digitale diensten leveren die efficiënter en veilig zijn. Multicloudomgevingen, die gemiddeld op vijf verschillende platforms zijn gebouwd, vormen de kern van deze transformatie. Ze vergroten de flexibiliteit van organisaties, zodat DevOps-teams innovatie kunnen versnellen.
Deze multicloudomgevingen brengen echter ook nieuwe uitdagingen met zich mee vanwege hun complexiteit en schaal. Applicaties draaien op meerdere technologieën, bevatten miljoenen regels code en genereren nog meer afhankelijkheden. DevOps-teams beschikken niet over de capaciteit om deze omgevingen handmatig te monitoren en logs samen te voegen en te analyseren, om de inzichten te krijgen die ze nodig hebben om naadloze digitale ervaringen te leveren.
AIOps schieten te hulp
Organisaties maken steeds vaker gebruik van AIOps-platforms (artificial intelligence for operations) om de complexiteit en uitdagingen van de multicloud aan te pakken. AIOps combineert big data- en machine learning-technieken om IT-activiteiten te automatiseren, waardoor organisaties innovatie kunnen versnellen en developers tijd over houden voor meer strategisch werk.
AIOps is echter zo slim als de kwaliteit en kwantiteit van de logs en andere data die teams invoeren. Daarom is observability essentieel. Organisaties moeten gedetailleerde statistieken, logs en traces van multicloud-applicaties en -infrastructuur vastleggen, en dit in het AIOps-platform zetten. Hierdoor kan AI DevOps-teams de inzichten geven die ze nodig hebben om applicaties te optimaliseren, betere klantervaringen te bieden en positievere bedrijfsresultaten te behalen. Met kwalitatief betere observability data kunnen AIOps-oplossingen meer waardevolle context bieden. Tegelijkertijd kunnen teams flexibeler en beter geïnformeerd werken.
Data, data, overal
Doordat organisaties tegenwoordig meer data over gebruikerssessies, metadata en informatie over bedrijfsresultaten verzamelen, worden ze overspoeld met data. De enorme hoeveelheid data van de duizenden microservices en containers in hun multicloudomgeving en elke tik, klik of swipe van een gebruiker die communiceert met een digitale dienst, betekent dat organisaties simpelweg overbelast raken. Ze vinden het lastig om traditionele log monitoring- en analyse-oplossingen te blijven gebruiken, die niet gebouwd zijn voor de voortdurende vermenigvuldiging van observability data.
Hierdoor is het steeds lastiger voor organisaties om observability data op schaal op te nemen, op te slaan, te indexeren en analyseren. De implicaties zijn op financieel gebied en wat betreft tijd niet rendabel. Bovendien zijn organisaties gaan vertrouwen op meerdere oplossingen voor monitoring en analyse die ieder verschillende doeleinden hebben, waardoor het aantal datasilo’s is toegenomen. Door deze gefragmenteerde benadering is het lastig om logdata in context te analyseren, wat de waarde van de AIOps-inzichten beperkt.
Daarnaast worden organisaties vaak gedwongen om historische logdata te verplaatsen naar ‘cold storage’ (of een storage repository voor niet-actieve data), of de data wordt helemaal verwijderd of gewist vanwege de kosten van primaire opslag. Hoewel log-analyse hierdoor kosteneffectiever wordt, vermindert het ook de impact en de waarde die het toevoegt aan moderne AIOps-gedreven benaderingen. Met logdata in cold storage kunnen organisaties AIOps-platforms echter ook niet gebruiken voor realtime inzichten, of om meer context te bieden rond de oorzaak van potentiële problemen. De data moet opnieuw worden geïndexeerd voordat teams query’s (zoekopdrachten) kunnen uitvoeren en inzichten kunnen krijgen, wat uren of zelfs dagen kan duren. Deze vertraging kan verouderde inzichten opleveren, met beperkte waarde voor het voorkomen van problemen voordat de klantervaring wordt beïnvloed.
Onbeperkte observability in een cloud-native wereld
De afhankelijkheid van multicloudomgevingen en AIOps-gedreven automatisering zullen niet verminderen, omdat het aantal digitale diensten blijven toenemen. Daarom moeten organisaties nieuwe benaderingen vinden om observability data vast te leggen, op te nemen, te indexeren, op te slaan en te operationaliseren – op manieren die geschikt zijn voor de cloud-native wereld.
Hierdoor ontstaat de behoefte aan log-analysemodellen die de complexiteit van multicloudomgevingen kunnen bijhouden en onbeperkt kunnen schalen met de enorme hoeveelheden statistieken, logs en traces die deze modellen creëren. Data lakehouses zijn een krachtige oplossing die de structuur, het beheer en de query features van een data warehouse combineren met de lage kosten van een data lake. Hierdoor hoeven teams niet langer meerdere databronnen te beheren, ze handmatig samen te voegen en ze te verplaatsen tussen hot en cold storage, wat de snelheid en nauwkeurigheid van AIOps-inzichten vergroot.
Zo kunnen organisaties data- en log-analyse in volledige context en op enorme schaal ontsluiten, en snellere query’s mogelijk maken die preciezere antwoorden opleveren. Organisaties die beschikken over deze mogelijkheden kunnen intelligentere automatisering stimuleren om vlekkeloze digitale interacties voor hun klanten en eindgebruikers te ondersteunen, waardoor ze een enorm concurrentievoordeel hebben in een wereld die steeds meer verbonden is.
Door: Dwight Maanster, Country Manager bij Dynatrace
