La privacidad de Vaultgama de Google determina los nuevos valores para el rendimiento de la IA

Las dos principales unidades de investigación de Google LLC han hecho un progreso importante con la introducción de un nuevo modelo llamado Vaultzma, el «LLM privado diferencial» más poderoso del mundo, en el caso de una mayor privacidad del modelo de idioma.

Es un modelo de mil millones de parámetros realizado en la arquitectura Gemma de Google que utiliza algoritmos matemáticos avanzados para evitar que los datos confidenciales se filtren. La privacidad diferencial es un algoritmo matemático que se utiliza para proteger la privacidad al compartir los datos asegurando que la inclusión de datos individuales no afecte significativamente los resultados generales. Se logra agregando palabras controladas al conjunto de datos, lo que dificulta que alguien detecte información específica.

La estrategia se ha utilizado durante mucho tiempo en industrias controladas para proteger la información confidencial y también es muy probable para la privacidad de la IA. Sin embargo, se ha demostrado como un desafío aplicado a las LLM, lo que resulta en el comercio de durabilidad y habilidades de los modelos. Voltgema está diseñado para superar estos problemas y permite el uso de privacidad diferencial sin un éxito de rendimiento.

Privacidad de ai sin compensaciones

Voltzem fue creado por Google Research en colaboración con Google Dipmind. Los investigadores dijeron en una publicación de blog el viernes que se centraron en eliminar las compensaciones de capacitación privada subyacente-privada-verdadera de capacitación privada.

Los desafíos que enfrentaron son las leyes de escala tradicionales, que predicen el rendimiento del modelo de IA en función del tamaño de los cálculos y el tamaño de los datos, no se mantienen de pie si se aplican a diferentes privacidad debido al sonido extendido y un tamaño de lote mayor. Como resultado, el equipo ha diseñado nuevas leyes de escala que consideran estos problemas para permitir el desarrollo de LLM privadas más grandes y más capaces.

Vaultzemma fue entrenado desde cero utilizando una estructura de privacidad diferencial para asegurarse de que los datos confidenciales no pudieran recordarse o filtrarse. Esta es una característica importante que puede tener un grave impacto en las aplicaciones de IA en industrias controladas como el dinero y la atención médica, dicen los investigadores.

En la evaluación de Google en varios criterios, como MMLU y el Big Bench, el VaultGMA mostró un nivel de rendimiento que excede los modelos privados con LLM no privados con un número similar de parámetros sin el sacrificio de la privacidad. Por ejemplo, los resultados han demostrado que compite la capacidad de los modelos de Jemma no vivos anteriores en tareas como la lógica y la respuesta a la pregunta, pero sin ningún riesgo de publicar sus datos de capacitación.

Una de las principales innovaciones en Voltagimma encontró que los investigadores se adaptaron a sus protocolos de capacitación para hacer frente a la inestabilidad causada por la adición de palabras. Google Research muestra cómo la diferente privacidad de la privacidad cambia el aprendizaje de los LLM. Por ejemplo, se requiere el tamaño de un lote más grande con millones de ejemplos para estabilizar la capacitación de modelos personales individualmente. Esto significa que los cálculos más grandes generalmente se reclaman, pero los investigadores han creado algunas estrategias para reducir estos gastos que pueden reducir la barrera para aceptar modelos personales.

Arctocráticamente, Vaultzemma es un modelo de transformador de decodificador, basado en la arquitectura Gemma 2 de Google, que utiliza 26 capas presentadas y atención múltiple. Una de las preferencias del diseño original es restringir la longitud del orden a solo 1,024 token, lo que ayuda a manejar los intensos requisitos de cálculo para la capacitación privada, los investigadores. Este desarrollo se rige por un elegante conjunto de «Ley de Escala DP», que proporciona una estructura para equilibrar las compensaciones entre la energía de cálculo, el presupuesto de privacidad y la utilidad del modelo.

IA privada avanzada

Los investigadores de Google dicen que están creando Vaultzma con su peso y base de código bajo una licencia de código abierto para adoptar el acceso a la IA privada para la democratización. Este movimiento contrasta directamente con el enfoque normal de Google, con su LLM de propiedad más potente, como un AI «Black Box» Jemi Pro Classic Ejemplos.

Quizás la decisión de abrir la fuente Vaultzem es un paso estratégico en Google que es un paso estratégico para tratar de acelerar la sensibilidad de los datos antes de que las reglas se desarrollen en el caso de la privacidad de IA y acelerar la innovación en tales industrias. Los investigadores dicen que las leyes de escala de Google para diferentes privacidad deben ser aplicables a muchos LLM privados grandes, posibles, hasta billones de parámetros, dicen los investigadores. Las iniciativas pueden actuar como un zafiro para la innovación de Vaultzema Secure AI además de participar en las preocupaciones de privacidad de datos.

Mientras tanto, Google está analizando la posibilidad de cooperar con grandes proveedores de atención médica e imaginó el bóveda utilizada para analizar los datos de un paciente confidencial sin el riesgo de violar ninguna privacidad.

La IA moral de Vaultzemma también puede tener un impacto. Los investigadores de Google dicen que al negarse a revelar sus datos de capacitación, el modelo reduce el riesgo de desinformación y prejuicio, lo que puede ayudar a aumentar el progreso de los modelos de IA responsables, dicen los investigadores de Google.

Imagen: Google