Risk & Compliance Blog

"In law a man is guilty when he violates the rights of others. In ethics he is guilty if he only thinks of doing so" – Immanuel Kant

AI Governance by Design: Integratie in de volledige lifecycle

/

1. Inleiding

Er is al veel gezegd en geschreven over AI Governance en een eenduidig framework bestaat niet. Organisaties worstelen niet zozeer met het ontbreken van een AI Governance framework, maar met het vertalen van deze frameworks in hun organisatie. Daarnaast is artificiรซle intelligentie volop in ontwikkeling, waardoor nieuwe risicoโ€™s geรฏdentificeerd kunnen worden.

De AI Act (AIA) bevat verschillende verplichtingen en regels die ingedeeld kunnen worden in 3 dimensies en die van groot belang zijn voor AI Governance. Deze drie dimensies vormen de inhoudelijke pijlers van Trustworthy AI. Dit begrip verwijst naar het waarborgen van ethische, juridische en technische betrouwbaarheid van AI-systemen, zodat deze veilig, transparant en in overeenstemming met fundamentele rechten functioneren. De pijlers zijn:

  1. Ethiek โ€“ De Ethics Guidelines for Trustworthy AI en het Assessment List for Trustworthy AI van de High Level Expert Group (HLEG) zijn de beginselen voor het ethische framework.
  2. Wettelijke kaders โ€“ Vanuit Europa is een legal framework gecreรซerd dat niet alleen bestaat uit de AIA, maar ook uit aanvullende AI-wetgeving op het gebied van bijvoorbeeld AI (product) aansprakelijkheid (EU Product Liability Directive). Maar ook andere, relevante wetgeving op het gebied van bijvoorbeeld:
    • Data (Data Governance Act etc.)
    • Operational resilience & cybersecurity (Digital Operational Resilience Act, NIS II, Cyber Resilience Act etc.)
    • Platforms (Digital Markets Act, Digital Service Act etc.)
    • Content (Verordening mediavrijheid etc.).
  1. Robuustheid en veiligheid โ€“ Trustworthy AI wordt grotendeels gewaarborgd door de betrouwbaarheid, voorspelbaarheid en integriteit in deze technologie te vergroten.

Er bestaan tal van frameworks, normeringen en beginselen die invulling geven aan bovenstaande dimensies, maar waar ook tegelijkertijd voor- en nadelen aan kleven. Zo bestaan verschillende ethische frameworks, deels afhankelijk van de geografische regio (enkele voorbeelden, India: Digital Personal Data Protection Bill; VS: AI Bill of Rights; China: Measures for the Management of Generative Artificial Intelligence Services). En is ISO 42001 niet altijd een uitkomst voor Small and Medium Enterprises (SME).[1]

In deze blog geef ik een aantal tips en inzichten om een AI Governance framework in te richten. Daarnaast geef ik een aantal aanwijzingen voor de uitgangspunten van een AI Governance framework. Ik neem daarbij facetten van de AI lifecycle als uitgangspunt.

 

2. AI Lifecycle & modules

Uiteraard is de AIA van groot belang voor de compliance verplichtingen van een organisatie en voor de daarbij gepaard gaande AI-risicoโ€™s. Ik ben van mening dat het van belang is om de governance af te leiden uit de AI Lifecycle.

Aan de hand van de AI Lifecycle kan governance onderverdeeld worden in verschillende modules, welke vervolgens onderverdeeld kunnen worden in sub-modules. Grofweg kan de AI Lifecycle in vier categorieรซn verdeeld worden:

  1. Core Governance
  2. Risk Identification, Data Governance & Feature Engineering
  3. Training
  4. Deployment, Escalate & Ending

Ik beschrijf aan de hand van deze vier categorieรซn verschillende modules die onmisbaar zijn voor AI Governance.

 

2.1 Core Governance

Onder Core Governance versta ik de basics voor governance dat van toepassing is op de gehele organisatie. Wat moet de governance regelen? Wie is verantwoordelijk voor wat? Hoe wordt deze governance geรฏmplementeerd? En wanneer is governance van toepassing op de AI Lifecycle?[2]

Op strategisch niveau kan gedacht worden aan onder meer:

  • Het optimaliseren van de missie, visie en (ethische) waarden van de organisatie met de AI-doelen
  • Het (her)inrichten van een beleidsraamwerk
  • AI-geletterdheid
  • Belegging van taken & verantwoordelijkheden
  • Compliance & Risk management
  • Cybersecurity & AI security
  • AI supply chain

Op operationeel niveau kan bijvoorbeeld in procedures en processen deze onderwerpen nader uitgewerkt worden. Zo kan AI-geletterdheid nader uitgewerkt worden door de diepgang van awareness en trainingen af te stemmen op de rollen in de organisatie. Of kan gebruik gemaakt worden van Use Case Cards om de doelstellingen van specifieke AI-systemen, per afdeling of per proces, vast te leggen.

 

2.2 Risk Identification, Data Governance & Feature Engineering

Onder deze categorie vallen alle themaโ€™s voorafgaand op het trainen van AI. Hierbij kan gedacht worden aan:

  • Data Governance – strategisch en normatief kader voor het beheren van data in de organisatie
  • Data Management – data opschonen, labelen, datasets samenstellen, beveiligen etc.
  • Risk assessments en risico identificatie ten aanzien van:
    • Ethisch assessment (Fundamental Rights Impact Assessment, ALTAI, regionale toepasselijke ethische frameworks)
    • Privacy & Data Protection (Data Protection Impact Assessment)
    • Intellectueel eigendom
    • Database ownership (Databankenrichtlijn)
    • Cybersecurity & AI Security
  • Featured AI engineering – het omzetten van ruwe data in bruikbare inputvariabelen voor machine learning

 

2.3 Training

Deze categorie bestaat uit de fase waarin een AI-model wordt getraind en geรซvalueerd. Training en de daarbij behorende verplichtingen kan ondergebracht worden in een aparte module dat aansluit bij de AIA-eisen voor robuustheid en consistentie. Hierbij kan gedacht worden aan het concretiseren van thresholds voor bijvoorbeeld accuracy, bias-metrics, explainability-eisen, logging & traceability en waarom voor deze thresholds zijn gekozen.

 

2.4 Deployment, escalatie en beรซindiging

De laatste categorie in de AI lifecycle fase kan onderverdeeld worden in de sub-modules deployment, monitoring, maintenance. Zodra een AI-model of -systeem in werking is gesteld dan zal een organisatie beheersmaatregelen moeten instellen om de acties en handelingen in de gaten te houden, en zo nodig om in te grijpen. Hierbij kan gedacht worden aan detectie- en toezichtmaatregelen, maar ook aan meld- en transparantieverplichtingen zoals post-market monitoring of incident reporting.

In bijzondere gevallen waarin het AI-systeem niet goed of zelf schadelijk is moet een organisatie voorzien zijn van een plan om het AI-model te beรซindigen. Een uiterst hoogrisico scenario voor dit geval is het verschijnsel van โ€˜loss of controlโ€™ bij AI-modellen met een zeer hoge mate van autonomie.[3] Dit is het geval wanneer een AI-systeem niet langer de aanwijzingen van een mens volgt en er geen directe mogelijkheid is om de controle terug te nemen. Dit kan zich voordoen als de AI tactieken gebruikt zoals deception, manipulation, self-preservation. Of als het menselijk toezicht niet (meer) werkt, bijvoorbeeld door over-reliance.

 

3. Beginselen van AI Governance

Tot slot is het voor het inrichten van de AI Governance van belang om een aantal uitgangspunten in acht te nemen.

 

3.1 Risk-based governance

Ten eerste is aansluiting bij de karakterisering van de AIA van belang. Ik bedoel hiermee de risk-based benadering van de AIA. Hoe hoger de AI-classificatie, des te meer beheersmaatregelen getroffen moet worden. Bijvoorbeeld: hoe complexer het AI-model, des te meer verwacht mag worden van gepaste en adequate beheersmaatregelen. Het inrichten van AI Governance betreft grotendeels het beheersen van verschillende risicoโ€™s die gepaard gaan bij het ontwikkelen, implementeren en gebruiken van AI-systemen. De themaโ€™s van de AIA geven in principe al de scope aan voor de risicoanalyse, waardoor je kan spreken van risk governance.[4]

 

3.2 Control- en procesgerichte governance

Sommige normeringen, standaarden of frameworks zijn sterk gericht op Governance-by-Audit en andere op Governance-by-Design.[5]

Governance-by-Audit legt de nadruk op governance dat geborgd is via periodieke controle en toetsing en beoordeling achteraf. Governance zit in externe of interne controlemechanismen (voorbeelden: AIA conformiteitsbeoordeling, ISO 42001 via certificering).

Governance-by-Design betekent dat governance-principes, zoals compliance, ethiek, risico-beheersing, transparantie etc., vรณรณraf structureel worden ingebed in systemen, processen en architectuur (voorbeelden: ISO42001, NIST AI Risk Management Framework).

Voor het inrichten van AI Governance in de eigen organisatie is het aan te bevelen om zowel Governance-by-Audit als Governance-by-Design toe te passen, zodat het framework controleerbaar en tijdig aanpasbaar is.[6]

 

3.3 Geen one-size-fits-all benadering

Zoals eerder beschreven bestaat geen eenduidige framework voor AI Governance. Daarnaast is het van belang om te kijken naar de organisatie zelf. Wat voor type organisatie is het? In welke sector is het werkzaam? Een hoog gereguleerde sector? Is het een SME? En een van de belangrijkste vragen is: welke capaciteiten heeft de organisatie om aan de compliance verplichtingen te voldoen en om AI-risicoโ€™s te kunnen beheersen?

 

3.4 Wees voorbereid op toekomstige technologische vernieuwingen

De technologische veranderingen en aanpassingen op AI is in voortdurende ontwikkeling. Een voorbeeld hiervan zijn AI-modellen met een zeer hoge mate van autonomie.

Een organisatie kan anticiperen en zich (enigszins) voorbereiden op deze toekomstige ontwikkelingen door het hanteren van triggers en/of milestones en deze te concretiseren. Als een AI-ontwikkeling deze trigger of milestone bereikt, dan kan automatisch een bepaalde sub-module in werking treden.[7] Als de trigger of milestone niet bereikt is of niet meer bereikt wordt, dan kan de sub-module buiten werking worden gesteld.

Voor hoogrisico AI-systemen, maar ook voor toekomstige innovaties, kunnen bijvoorbeeld fairness-metrics worden vastgesteld, zoals voor โ€˜equal opportunityโ€™ en โ€˜disparate impact ratioโ€™, en daarbij vooraf gedefinieerde thresholds en documentatie van eventuele trade-offs. Voor een organisatie is het dan in elk geval van belang om โ€˜fairnessโ€™ te definiรซren, waarom voor deze definitie is gekozen en in welke context dit is bepaald.

Dit is ten eerste een uitkomst voor AI-experimenten in organisaties waarbij je dus tijdelijk governance kan instellen en proactief specifieke AI-risicoโ€™s identificeert voor volgende generatie AI-modellen en -systemen. Ten tweede kan het kan ook dienen als een gedegen plan van aanpak en het biedt inzicht in de risicobeheersing van organisaties voor eventuele toezichthouders. En tot slot kan deze tijdelijke sub-module een basis zijn voor opschaling van het AI-experiment naar een AI-toepassing.

 

 

 

[1] W. Finch, M. Butt, Gaps in AI-compliant complementary governance frameworksโ€™ suitability (for low-capacity actors), and structural asymmetries (in the compliance ecosystem)- A systematic review, Journal of Cybersecurity and Privacy 2025, 5, 101, p.17.

[2] A. Batool, D. Zowghi & M. Bano, AI Governance: a systematic literature review, Springer 14 January 2025, p. 1.

[3] https://lordslibrary.parliament.uk/potential-future-risks-from-autonomous-ai-systems/

https://centerforhumanetechnology.substack.com/p/why-loss-of-control-is-not-science

[4] E. Hohma e.a., Investigating accountability for Artificial Intelligence through risk governance: A workshop-based exploratory study, Frontiers in Psychology 25 January 2023, p. 3

[5] W. Finch, M. Butt, Gaps in AI-compliant complementary governance frameworksโ€™ suitability (for low-capacity actors), and structural asymmetries (in the compliance ecosystem)- A systematic review, Journal of Cybersecurity and Privacy 2025, 5, 101, p. 15 en 16.

https://www.forbes.com/councils/forbestechcouncil/2026/01/30/governance-by-design-how-to-engineer-trust-in-the-age-of-ai/

[6] W. Finch, M. Butt, Gaps in AI-compliant complementary governance frameworksโ€™ suitability (for low-capacity actors), and structural asymmetries (in the compliance ecosystem)- A systematic review, Journal of Cybersecurity and Privacy 2025, 5, 101, p. 15 en 16.

[7] Y. Bengio e.a., Managing extreme AI risks amid rapid progress, Science 24 May 2024, p. 4.

You cannot copy content of this page