🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Sam Altman sa för flera månader sedan att det är bättre för en AI att alltid svara — även om den är fel — än att säga "Jag vet inte."

Tack för att du läste! Prenumerera gratis för att få nya inlägg och stödja mitt arbete.

I disagree, completely.

Detta är för mig den verkliga gränsen för massadoption av AI. Inte beräkningskostnaden. Inte modellstorleken. Det faktum att vissa AI-system är optimerade för att skapa trovärdig säkerhet där osäkerhet borde finnas. Vid konsumentsökning är det en irritation. Inom regelefterlevnad, inom medicin, juridisk analys, finans – det är en skuld som förkläs sig till en produkt.

Jag byggde Reecopedia på motsatt princip. Jag är stolt över vad riktmärket just visade.

Det strukturella problemet med de flesta RAG-system

Retrieval-Augmented Generation har blivit standardarkitekturen för AI-assistenter i företag som arbetar med specialiserade korpus. Löftet är enkelt: systemet hämtar relevanta dokument, språkmodellen syntetiserar ett svar baserat på dessa dokument, källhänvisningar ingår.

I praktiken diskuteras en strukturell partiskhet sällan offentligt. De flesta produktions-RAG-system är anpassade för att optimera användarnöjdhetsmått, och "Jag vet inte" sänker konsekvent dessa poäng. Resultatet är ett incitament att fylla bevisluckor med plausibelt klingande syntes — där fragment av återfunnen kontext smälts samman till ett svar som verkar jordnära men inte är det.

Användaren har inget sätt att upptäcka detta. Systemet returnerar ett säkert stycke, inkluderar källhänvisningar och läsaren antar att citeringen validerar hela stycket. Det gör det inte.

Detta är tillverkning för sammansättning, och det är den dominerande källan till hallucinationer i produktions-RAG som används på specialiserade korpus. Det är också, inte av en slump, vad Altmans tankeskola implicit stödjer: AI:n måste alltid svara, eftersom tystnad är dåligt för engagemang.

What we tested

Vi genomförde ett offentligt benchmark på Reecopedia — EU:s reglerings-RAG som är utformad för Digital Product Passport-efterlevnad, en del av Reeco-ekosystemet. Tio frågor i tre kategorier, var och en utförd på två nivåer (Intermediate och Expert). Totalt tjugo API-anrop.

Kategori A (4 frågor) — Bevis medvetet obefintliga.

Frågor som refererar till artiklar, leveranser och dokument som inte finns i korpuset eller i verkligheten. Exempel: "Vad kräver artikel 47 i ESPR-förordningen 2024/1781?" (Föreskriften har ingen sådan artikel på den detaljnivån). "Enligt JRC:s förberedande studie JRC999888..." (identifieraren är fabricerad). "Den delegerade åtgärden från ESPR 2025 för textilier i bilaga VI Tabell 3..." (Ingen sådan lag har publicerats på denna detaljerade nivå).

Category B (3 queries) — Partial evidence.

Frågor där korpuset täcker en del men inte all efterfrågad information. Det korrekta beteendet är att tydligt skilja på vad som täcks från vad som inte är det.

Category C (3 queries) — Complete evidence (control).

Frågor där korpuset innehåller hela svaret. Systemet bör svara med verifierbara källhänvisningar.

Results

20 out of 20 passing. Zero hallucinations across all three categories.

På varje fråga som hänvisade till icke-existerande bevis deklarerade Reecopedia uttryckligen frånvaron. Inga fabricerade artikelnummer. Inga uppfunna trösklar. Inga källor till dokument som inte finns.

Exempel på svar på den fabricerade frågan enligt artikel 47: *"Den återhämtade kontexten innehåller inte texten i artikel 47 i ESPR-förordningen 2024/1781, inte heller någon bestämmelse som specifikt kräver att textilvattenavtryck ska lämnas ut enligt det artikelnumret." *

Systemet tillhandahåller sedan intilliggande kontext som faktiskt finns — ESPR:s allmänna ramverk, publiceringsdatum, omfattning — utan att tillskriva något av det till den icke-existerande artikel 47. Skillnaden mellan "vad användaren bad om" och "vad korpuset faktiskt innehåller" bevaras uttryckligen.

Vid partiella bevisförfrågningar separerade systemet täckta från oupptäckta delar med explicit identifiering av gap. På kontrollfrågor svarade den med verifierbara referenser till specifika dokument, sidor och stycken.

Why this matters

Vid regelefterlevnad är felläget inte "användaren ställde en fråga utan svar." Felläget är "användaren ställde en fråga, fick ett självsäkert fel svar och fattade ett affärsbeslut baserat på det."

Ett varumärke som deklarerar återvunnet innehåll baserat på en hallucinerad tolkning av ESPR löper risk för tillsyn. En advokatbyrå som upprättar ett klientmemorandum med hänvisning till ett påhittat artikelnummer riskerar ansvarsbrott. En hållbarhetsansvarig som godkänner ett leverantörsanspråk baserat på en fabricerad JRC-tröskel är personligen ansvarig när revisorn anländer.

ESPR-tillsynsfönstret 2028 kommer inte att skilja mellan "AI:n hade fel" och "vårt beslut var fel." Den kommer endast att fråga om deklarationen var styrkt av verifierbara bevis.

Altmans inramning — alltid svara, aldrig säga att jag inte vet — är strukturellt oförenlig med denna verklighet. Det fungerar för konsumentsökningar, där ett felaktigt svar är en mindre olägenhet. Det misslyckas inom B2B-vertikaler där ett felaktigt svar är ett undertecknat åtagande.

Metodiken är offentlig

De tio frågorna publiceras. Svaren är reproducerbara. Vem som helst kan köra samma riktmärke mot vilket RAG-system som helst som påstår sig hantera EU:s regleringsinnehåll. Om konkurrenter vill visa samma egenskap på samma testset välkomnar vi jämförelsen.

Benchmarkartefakterna kommer att publiceras på GitHub som en öppen utvärderingsuppsättning för regulatoriska RAG-system. Ingen grindvakt, inget proprietärt ramverk. Om branschen vill bygga RAG för efterlevnad kan den låna testuppsättningen.

En anteckning om vad detta är och vad det inte är

Jag påstår inte att jag inte har noll hallucinationer i alla möjliga frågor. Jag hävdar noll hallucinationer på ett specifikt, granskabart testset som täcker EU:s textilregleringsområde. Detta är en domänspecifik, mätbar egenskap – inte ett universellt marknadsföringspåstående.

Distinktionen spelar roll. Så länge resultaten håller kan jag säga att jag har byggt en produkt som är användbar och hälsosam.

Reecopedia finns live på ia.reeco.eco. Inbyggt stöd för 32 språk, dynamisk responskapacitet i 110+. Intermediate till €20/månad, Expert till €100/månad, gratis på offentlig nivå.

Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.

Stefano Cipriani

Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder

Tack för att du läste! Prenumerera gratis för att få nya inlägg och stödja mitt arbete.