La IA está cerca de agotar todos los datos disponibles en Internet para su entrenamiento, según ha dicho alguien que conoce bien esta industria: Elon Musk, propietario de X y CEO de xAI, entre otras empresas.
Su solución pasa por cruzar el Rubicón del entrenamiento de modelos: utilizar datos sintéticos. Es decir, que la propia IA genere los datos con los que aprenderá.
Por qué es importante. La escasez de datos para entrenar modelos marcará el punto de inflexión en el desarrollo de la IA. Y podría ralentizar el ritmo de avance tecnológico tal y como lo conocemos tras los últimos años.
El contexto. Los grandes modelos de lenguaje necesitan enormes cantidades de datos e información para mejorar su rendimiento. El agotamiento de estos datos reales disponibles, generados por humanos mediante las vías tradicionales, fuerza a la industria a buscar alternativas válidas con las que seguir mejorando productos como los chatbots o los generadores de imágenes.
- La idea no es nueva, ya se ha aplicado con otros proyectos de IA. Gartner estimó que el 60% de los datos usados en proyectos de IA durante 2024 fueron generados sintéticamente. Microsoft, OpenAI, Anthropic, Meta... están recurriendo a ello.
- Palmyra X 004, un modelo diseñado para potenciar aplicaciones de IA ya existentes, fue entrenado así. Costó 700.000 dólares.
- El coste estimado para un modelo de tamaño comparable de OpenAI es de 4,6 millones de dólares.
¿Cuál es la diferencia con lo que plantea Musk? Que el uso de datos sintéticos ha sido hasta ahora un complemento a datos reales, no un reemplazo total. Y según él, pronto serán la única fuente de entrenamiento posible.
Entre líneas. No es la primera señal similar que envía un peso pesado de la industria. Ilya Sutskever, excientífico jefe de OpenAI, ya hizo una advertencia muy parecida en diciembre: "Hemos alcanzado el pico de datos y no habrá más".
- El problema está en que los datos sintéticos pueden crear un bucle cerrado donde los sesgos y las limitaciones se amplifiquen.
- Eso llevaría al colapso del modelo por una pérdida progresiva de creatividad y de precisión.
Pese a esos riesgos, la industria está adoptándolos.
En Xataka | La IA ya entiende la física del mundo real: NVIDIA Cosmos es el primer paso para los robots inteligentes
Imagen destacada | Xataka con Midjourney
Ver 24 comentarios
24 comentarios
nazibots
- ¿Qué haces tío Elon?
- Voy a enseñarle cosas a la IA
- ¿Cosas ….nazis?
En fin, reír por no llorar pensando en la que se nos viene encima 🤦🏻♂️
p2dzca
1) La IA ha consumido contenido, no conocimiento.
2) Desde hace tiempo se sabe que entrenar IA con datos sintéticos no es viable porque se deterioran los modelos de IA generativa. Se denomina "AI model collapse":
https://www.nature.com/articles/s41586-024-07566-y
sanamarcar
Esto ya se hacia antes, no es algo de Elon. Es que claro ya cansa este señor y la realidad de sus hechos demuestra que solo le beneficia a el sus bulos y estupideces. La realidad que no ha sacado un coche pensado para ciudades con Tesla, ha llenado de basura nuestra cabezas y que nadie usa, y luego lo de llevar basura a Marte pues va bien pero utilidad para el resto mortales es 0. Neurolink pues a saber. En fin Elon es demasiado humo para los hechos reales. Necesitamos gente que de tranquilidad y hechos tangibles y cercanos. La forma de pensar de Elon es muy de siglo XIX.
Un visionario real, fomentaría el transporte publico, coche compartido, biplazas eléctricos, edificios mas baratos y fácilmente reparables, producción de proteínas de calidad y sostenibles, asistencia a la mejora en el envejecimiento y diversas patologías. En fin Elon Musk es la visión de unos inversores ávaros e ignorantes engañados por un crecepelo superdotado para estupideces y subdotado para la mayoría de los humanos mortales.
ayrton_senna
Anda más perdido que Terminaror en los mundos de Yupi.
Se le ha ido la pinza totalmente.
¿Será que se ha bebido la lejía que anunciaban los antivacunas en su red antisocial?
de_paso
Que se lo invente, que es lo que le gusta.
aplatanado
Elon, que de IA sabe lo que le dicen, repite lo que ya han dicho expertos en IA hace meses, como Sutskever. Pero por algun motivo nos intentan vender todo lo que dice este tio como algo que importante.
Al menos cuando estaban todo el día con Altman, es porque era el CEO de la principal empresa de IA. Pero lo hemos cambiado por el "oraculo" de Musk y no veo que hayamos ganado
tester482
Como entrene a su IA con el contenido y comentarios de X/twitter buen mostruo le va a salir.
lalala_500
Su conocimiento seguro que si. Porque no le da para mucho.
Cuando eres rico puedes hacer lo que te dé la gana.
Pero después de ver las mierdas que programó cuando era peque... Es un retrasado con dinero.
A su edad yo ya había violado el Amstrad y el z80
fomlimalma
Ahora las tonteras y fake news que postean en esa cloaca humo musk le dice conocimiento humano
jkujami
No se, todos los días se suben infinitos videos a youtube no? Eso no cuenta como contenido nuevo?
Alexis
Aquí los amigos de la democracia censurando los comentarios que no van el la línea de la editorial.
Musk los tiene bailando y no lo soportan.
Autentico cine.
Borren este también. Gracias
lontxo
Si ya ha consumido todo el conocimiento humano, que empiece con la estupidez humana, que es una fuente inagotable.
pablorodriguez_2
Pregunta de nuestros sucesores: la realidad, eso que és?
ale
Que pena todo, la de cosas increíbles que se podrían hacer con tanto dinero , y ke si Elon hace el ke más , el problema no es el sino los demás 5000 billonarios que no hacen nada, solo dan 1 m a 4 pobres y así es como kieren arreglar todo, o bien sale un mangante tech y lo Ke kieres controlarnos para manipularnos y para ke mas ? Si van a morir también como todos , a veces parece que el infierno es la tierra.