Skip naar inhoud

Wilt u deze bijdrage aanbevelen? Dat kan via:

Data verzamelen is makkelijk. Er waarde uithalen, daarin ligt de uitdaging, zeker gezien de gigantische hoeveelheden data die er dagelijks bijkomen - zo’n 2,5 miljoen terabytes. Nu organisaties de cloud in hun armen sluiten, zal de hoeveelheid data alleen maar toenemen. Hoe maak je deze data bruikbaar? Bestaande oplossingen werkten goed in het verleden, maar zijn niet toekomstbestendig. Voor de toekomst van dataverwerking is een nieuwe architectuur nodig.

[vc_row][vc_column][vc_column_text]

Als organisatie heb je voor je opslag de keuze tussen een datawarehouse en een data lake. Beide opties zijn geschikt voor verschillende doeleinden en hebben hun voor- en nadelen. Een datawarehouse is ideaal voor operationele gebruikers omdat het gestructureerd, eenvoudig te gebruiken en begrijpen is – en daarmee geschikt voor disciplines als business intelligence en analytics. Het opslaan van gegevens in een datawarehouse is daarentegen duur en tijdrovend.Maar wanneer je – zoals veel moderne ondernemingen – beschikt over grote hoeveelheden ongestructureerde data is een data lake de betere oplossing. Opslag in data lakes is kostentechnisch zeer efficiënt. De architectuur leent zich daarnaast beter voor toepassingen zoals machine learning en datawetenschap, waar grote hoeveelheden gegevens voor nodig zijn.Hierdoor komen organisaties in een ongemakkelijke spagaat: ze moeten én een datawarehouse én een data lake beheren. Dit leidt tot een complexe architectuur die eigenlijk te duur en te traag is. Bovendien belemmert het samenwerking. Verschillende disciplines werken afgezonderd van elkaar in hun eigen systemen. Hierdoor blijven silo’s bestaan die productiviteit belemmeren, terwijl het voor het concurrentievermogen van een organisatie juist belangrijk is dat de verschillende datadisciplines dichter naar elkaar toe bewegen.

Best of both worlds

“Organisaties willen al geruime tijd meer waarde halen uit hun data lakes”

Het is dan ook tijd voor een nieuwe architectuur, een best-of-both-worlds-scenario. Niet een los datawarehouse én data lake, maar een lakehouse. Door een transactionele laag op een data lake te plaatsen, kun je taken direct in het data lake uitvoeren waar je voorheen een apart datawarehouse nodig had. Hiermee verdwijnt ook de noodzaak voor complex extraction, transformation & load (etl)-werk om data van het data lake over te hevelen naar het datawarehouse. Die combinatie, de prestaties van een datawarehouse en de kostenefficiëntie van een data lake, maakt een data lakehouse de ideale data-architectuur voor datagedreven organisaties. Business intelligence (bi), datawetenschap, artificial intelligence (ai), machine learning (ml), het kan allemaal binnen een geïntegreerd platform. De lakehouse-architectuur heeft dan ook de toekomst.
Organisaties willen al geruime tijd meer waarde halen uit hun data lakes. De technologie om dat te doen, was veelbelovend, maar telde tal van haken en ogen. Zo moest de betrouwbaarheid, snelheid en veiligheid van data lakes omhoog zonder in te boeten op flexibiliteit en kostenefficiëntie. Ook moet je direct queries uit kunnen voeren op een data lake om bijvoorbeeld bi-rapportages te maken.

Versimpelen

Inmiddels zijn deze obstakels uit de weg, waardoor een lakehouse-architectuur realistisch is om te implementeren. Hierdoor kunnen datateams hun werkprocessen stroomlijnen. Zij hebben niet meer te maken met meerdere databronnen, kopieën van gegevens, of fouten die ontstaan door uitgebreide pipelines, maar ze putten allemaal uit een snel toegankelijke single source of truth’.
Datawarehouses zullen ongetwijfeld een rol blijven spelen bij veel organisaties. Maar een gescheiden datawarehouse zal steeds duurder worden naarmate de hoeveelheid opgeslagen data in data lakes groeit. Door met een lakehouse meer werkzaamheden binnen een data lake uit te voeren, kunnen organisaties hun data-architectuur sterk versimpelen, kosten verlagen, en bedrijfsprocessen versnellen. Hiermee worden data lakes het zwaartepunt van alle datawerkzaamheden, en het vertrekpunt voor nieuwe technologische ontwikkelingen.

 

[/vc_column_text][/vc_column][/vc_row]

Lees ook:

Wat wil en wenst de ontwikkelaar?

In een krappe ict-arbeidsmarkt is het voor werkgevers interessant te weten wat er onder ontwikkelaars leeft. Bedrijven die de juiste tools bieden, hebben een streepje voor. Een internationaal onderzoek onder ruim zeventigduizend ontwikkelaars uit de Stack Overflow-community geeft inzicht in de trends. Dit rapport is bij recruiters dan ook niet onopgemerkt gebleven. Ze krijgen zo een beeld van hoe developers leren en meer kennis vergaren, welke tools ze gebruiken en waaraan ze behoefte hebben.

TNO: Europa kan tech-overmacht VS en China doorbreken

Zet vol in op de ontwikkeling van 6G, maak Gaia-X volwassen, loop voorop met edge computing en omarm open technologie. Dit zijn enkele aanbevelingen van TNO om in Europa de overheersing van Big Tech en Chinese (5G-)bedrijven te doorbreken.

Subpostmaster campaigning forces government to set up compensation scheme and make interim payments

Subpostmaster campaign group is a step closer to achieving what it was originally set up to do as government launches compensation scheme for its members who did not receive fair payouts

Advies: wacht met 3,5 GHz tot Inmarsat weg is

Het duurt waarschijnlijk tot eind 2023 voordat de 3,5-GHz-frequentieband beschikbaar komt voor openbare mobiele-communicatiediensten. Er is weliswaar veel vraag naar extra frequentieruimte, maar op de daarvoor afgesproken 3,5-GHz-band kan dat storen met noodoproepen van de lucht- en zeevaart. Het ministerie krijgt het advies te wachten totdat satellietbedrijf Inmarsat is verhuisd van het Friese Burum naar Griekenland.

Na sase komt sse (security service edge)

Security service edge (sse) is de evolutie van het sase-framework van Gartner. Door de letter ‘A’ (voor ’access) te verwijderen, wordt duidelijk dat het netwerk niet langer wordt beschouwd als onderdeel van een beveiligingsoplossing. Het is slechts het mechanisme dat de datastromen naar het security- en controleplatform transporteert.

UK tech has 2.8% gender ‘wage gap’, says Hired

The wage offered to women for tech jobs in the UK is 2.8% less than offered to male counterparts – a larger gap than in the US and Canada, says Hired

Wilt u deze bijdrage aanbevelen? Dat kan via:

Klaar voor de beste oplossing voor uw IT & ICT-situatie?

Ik heb mijn wachtwoord gewijzigd in “onjuist.” Dus wanneer ik vergeet wat het is, zal de computer zeggen: “Uw wachtwoord is onjuist.”