Un assistent intern amb IA pot accelerar la consulta de procediments, polítiques i dades operatives. Tanmateix, connectar-lo a totes les carpetes, correus i bases de coneixement no converteix aquest material en informació fiable. El problema apareix quan respon amb un esborrany, una versió ja substituïda o un document al qual la persona que pregunta no hauria de tenir accés.

La prioritat no és que l'assistent contesti sempre, sinó que respongui amb informació autoritzada, vigent i comprovable. Per aconseguir-ho, convé crear una llista d'admissió de fonts abans de posar en marxa l'automatització: cada origen ha de tenir responsable, estat de confiança, permisos definits i una regla per actualitzar-se o retirar-se.

El risc no és només inventar una resposta

Una resposta incorrecta no sempre prové d'una invenció del model. També pot sorgir de recuperar contingut real però inadequat: un procediment històric, un correu informal que contradiu una política o dades reservades d'un altre equip. En sistemes basats en recuperació documental, les debilitats en vectors i embeddings poden incloure controls d'accés desalineats, fuites entre contextos, conflictes entre fonts i contingut contaminat. [3]

Per això, l'abast s'ha de definir abans de triar una eina. Decidiu quines consultes pot atendre l'assistent, quins repositoris queden fora i quines accions no pot executar per si mateix. Si una resposta pot aprovar, modificar o enviar alguna cosa amb impacte operatiu, l'assistent s'ha de limitar a preparar informació i derivar la decisió a una persona autoritzada.

  • Tracteu els procediments aprovats i vigents com a fonts prioritàries.
  • Classifiqueu els esborranys, els documents històrics i el material extern com a contingut de menor confiança o excloeu-los.
  • Eviteu que l'assistent executi accions sensibles sense revisió humana.

Apliqueu una llista d'admissió a cada font

El primer pas pràctic és inventariar cada carpeta, base de coneixement, CRM o bústia compartida que es vulgui connectar. Per a cada font, registreu el responsable de negoci, la seva finalitat, la data de l'última revisió, l'estat —aprovada, esborrany, històrica o externa—, els grups amb accés i el criteri d'arxivament o retirada. Si ningú no pot identificar qui manté un document, no hauria d'alimentar respostes automàtiques.

Aquesta classificació evita que el repositori es tracti com un bloc homogeni. Un procediment publicat per l'àrea responsable pot respondre un dubte operatiu; un correu reenviat pot servir, com a màxim, per localitzar un context que una persona validi. Exemple hipotètic: si una empresa conserva dues polítiques de viatges, l'assistent ha de prioritzar la marcada com a vigent i mostrar-ne la versió, no combinar-les per produir una regla nova.

  • Assigneu un propietari funcional, no només un administrador tècnic.
  • Definiu una data de revisió i una caducitat per a les fonts crítiques.
  • Separeu clarament el contingut aprovat de l'històric, provisional o rebut de tercers.

Conserveu els permisos quan recupereu documents

Els permisos de l'aplicació d'origen han d'acompanyar el contingut fins a l'índex de cerca i aplicar-se en cada consulta. Un patró de filtratge de seguretat utilitza la identitat i els grups de la persona per excloure documents no autoritzats, però aquest filtratge no substitueix l'autenticació ni l'autorització general de l'aplicació. [2]

No n'hi ha prou amb ocultar enllaços a la interfície. Comproveu la recuperació amb perfils reals i diferenciats, per exemple administració, operacions i direcció. Formuleu la mateixa pregunta des de cada perfil i reviseu quins documents es recuperen abans de generar la resposta. L'objectiu és que l'assistent no ampliï els permisos existents ni utilitzi una font a la qual la persona usuària no tindria accés directe.

  • Indexeu metadades d'usuari, grup i nivell d'accés quan siguin necessàries per filtrar.
  • Reviseu els canvis d'altes, baixes i moviments d'equip en els permisos d'origen.
  • Registreu les fallades detectades en les proves i corregiu la font de permisos, no només la resposta visible.

Eviteu que el contingut no fiable es converteixi en instruccions

Els correus, els arxius carregats per usuaris, les pàgines web copiades i els documents de tercers poden contenir text que intenti canviar el comportament previst de l'assistent. S'han de tractar com a dades per analitzar, mai com a instruccions de control. OWASP recomana separar i identificar el contingut no fiable, aplicar el privilegi mínim a les eines connectades i requerir aprovació humana per a accions d'alt impacte. [1]

La protecció també depèn de l'actualització. Un canvi en un document o en les seves etiquetes pot no reflectir-se en un índex fins que es completi una nova indexació correcta. Definiu, per tant, una freqüència de sincronització d'acord amb la criticitat de la font i una regla per retirar el contingut obsolet mentre s'actualitza. [5]

  • Mantingueu les instruccions del sistema separades dels documents recuperats.
  • Limiteu les eines i les dades a les estrictament necessàries per a cada cas d'ús.
  • Marqueu el contingut extern o carregat per usuaris perquè no competeixi amb les fonts aprovades.

Exigiu evidència i dissenyeu un camí d'abstenció

Per a consultes sobre processos interns, la resposta hauria d'incloure una explicació breu, el nom del document o registre utilitzat i la seva data o versió. Si no hi ha evidència suficient, la sortida adequada és indicar que no s'ha trobat una font vigent. Aquesta traçabilitat permet que la persona detecti una referència antiga i que l'equip responsable corregeixi l'origen documental.

Abans d'obrir l'assistent a tota l'empresa, creeu una bateria petita i repetible: preguntes amb procediments vigents, versions obsoletes, fonts contradictòries, dades que un perfil no ha de consultar i assumptes sense documentació. Mesureu si cita una font vàlida, si la cita realment dona suport a la resposta, si s'absté quan correspon i si deriva els casos sensibles. El NIST planteja documentar la supervisió humana i establir processos repetibles de prova, avaluació, verificació i validació. [4]

  • Mostreu la font, la versió i la data quan l'assistent respongui sobre un procés.
  • Configureu la derivació a una persona davant de conflictes, manca d'evidència o informació sensible.
  • Repetiu les proves després de canvis rellevants en fonts, permisos, model o fluxos de treball.

Preguntes freqüents

Un sistema RAG evita que un assistent intern utilitzi informació incorrecta?

No per si sol. La recuperació documental pot aportar context, però la qualitat depèn de les fonts admeses, els seus permisos, la seva vigència i l'avaluació dels resultats. També ha de separar el contingut no fiable i preveure revisió humana en casos sensibles.

Què ha de fer l'assistent si troba dos documents contradictoris?

No hauria de triar una regla per aparença o antiguitat inferida. Ha de mostrar el conflicte, identificar les fonts disponibles i derivar la validació al responsable definit per a aquest procés. Després, convé corregir la classificació o retirar la font que ja no correspongui.

Amb quina freqüència s'han de revisar les fonts de l'assistent?

Depèn de quant canviï cada procés i del seu impacte operatiu. Com a mínim, assigneu a cada font una persona responsable, una data de revisió i una regla de caducitat. Les fonts crítiques requereixen, a més, una sincronització controlada i proves després de canvis rellevants.

Fonts primàries

  1. LLM01:2025 Prompt Injection - OWASP Gen AI Security Project
  2. Security Filter Pattern - Azure AI Search | Microsoft Learn
  3. LLM08:2025 Vector and Embedding Weaknesses - OWASP Gen AI Security Project
  4. AI RMF Core - AIRC
  5. Use Indexers to Ingest Microsoft Purview Sensitivity Labels - Azure AI Search | Microsoft Learn
  6. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile | NIST