Que se mide y que se estima

Todos proceden de Epoch AI, un instituto de investigacion independiente que sigue la trayectoria de la IA. Publican sus conjuntos de datos bajo licencia CC BY 4.0, que permite la reutilizacion, la redistribucion y la reproduccion siempre que se acredite la fuente y los autores. Ese credito aparece en cada pagina de esta seccion, junto a los datos a los que se aplica.

Nada de esto se extrae de su sitio mediante scraping. Cada conjunto de datos se toma de los archivos que publican para descarga, se normaliza en una base de datos y se vuelve a publicar como paginas individuales. La investigacion es suya; la estructura, los enlaces cruzados y los textos son nuestros.

El computo de entrenamiento casi nunca lo publica un laboratorio. Se reconstruye a partir del hardware utilizado (numero de chips multiplicado por el rendimiento, la duracion del entrenamiento y un factor de utilizacion) o a partir de la arquitectura y el tamano del conjunto de datos. Cada registro de modelo indica que metodo produjo su cifra.

La capacidad y la potencia de los centros de datos proceden de permisos de construccion, imagenes de satelite, contratos de compra de electricidad, pedidos de chips y gasto declarado. Estas cifras arrastran una incertidumbre de aproximadamente 1,4x a 1,6x segun la metrica: un sitio declarado en 900 MW podria plausiblemente ser de 600 o de 1.400.

El suministro y el stock de chips se modelan a partir de informes de resultados, datos de envios y capacidad de la cadena de suministro. Se publican como una mediana con una banda entre el percentil 5 y el 95, y los tres valores se almacenan en lugar de reducirse al valor central.

Las finanzas de las empresas proceden de la prensa, no de documentos oficiales: la mayoria de estas empresas no cotizan. Distintos medios publican cifras distintas para el mismo trimestre, asi que cada informe se conserva como su propio punto fechado en vez de promediarse en una sola serie. La cifra destacada en la pagina de una empresa es simplemente el informe mas reciente, e indica de que fecha es.

Epoch publica una direccion postal para cada centro de datos pero ninguna coordenada: su propio mapa las resuelve en el navegador. El mapa de computo geocodifica por tanto esas direcciones contra OpenStreetMap, y registra hasta que nivel se resolvio cada una: el edificio, la calle, el distrito, la localidad o solo el condado. Unos pocos sitios indican una descripcion de obra en lugar de una direccion postal; esos se situan a partir de la localidad nombrada en el registro y nunca se presentan como mas precisos que eso.

Cada coincidencia candidata se comprueba contra el pais y, en Estados Unidos, contra el estado extraido de la direccion, y se rechaza si no concuerda: sin esa comprobacion, un nombre de calle igual en el estado equivocado reubicaria en silencio un sitio de un gigavatio. Las coordenadas de los clusteres de GPU proceden de la propia exportacion de Epoch y se usan tal como se publican.

Las atribuciones — quien posee un centro de datos, quien usa su computo — llevan una etiqueta de confianza explicita: confident, likely o speculative. Esas etiquetas se conservan en el registro y se muestran, porque «Microsoft probablemente posee esto» y «Microsoft posee esto» son afirmaciones distintas.

Lo mismo se aplica a los registros de modelos, que llevan una calificacion de confianza sobre la entrada completa, y a los clusteres de GPU, que llevan un campo de certeza y a menudo una nota que explica que se discute. Cuando una cifra tiene una banda de percentiles, la banda se almacena; cuando falta una cifra, la pagina no dice nada en lugar de adivinar.

Epoch republica a menudo: algunos conjuntos de datos cambian cada semana. Este sitio se resincroniza desde sus archivos publicados y cada registro guarda la fecha en que se obtuvo, que es lo que indica la linea de fuente al pie de cada pagina. Si una cifra de aqui discrepa de la suya, la fecha de obtencion es lo primero que hay que mirar.