Roadmap/skills-benchmark-strategy.md

Estrategia De Benchmark Para Freedom Skills

TL;DR

O melhor caminho nao parece ser inventar um benchmark gigantesco do zero.

O melhor caminho parece ser:

1. O Que O Benchmark Do Projeto Precisa Responder

Se o projeto e “Freedom Skills”, as perguntas certas nao sao so “o agente resolveu?”.

As perguntas certas sao:

Ou seja: o benchmark precisa medir valor operacional, nao so performance abstrata.

2. Principios De Design

2.1 Medir Delta Contra Baseline

Toda task importante deveria ter pelo menos tres condicoes:

Sem isso, fica facil confundir:

2.2 Separar Descoberta De Execucao

Uma skill pode falhar por dois motivos muito diferentes:

Se isso cair num numero unico, o diagnostico fica fraco.

2.3 Fixar Versao, Data E Runtime

Os benchmarks atuais estao mudando rapido. Entao cada resultado precisa registrar:

2.4 Preferir Verificadores Deterministicos

Sempre que possivel, usar:

LLM-as-judge ainda e util, mas como complemento, nao como fundamento.

2.5 Medir Instabilidade

Skill systems sao instaveis por natureza. Entao alem de pass rate, vale medir:

Isso vem diretamente da licao de tau-bench e do ecossistema de agent eval mais recente.

3. O Que Reusar De Fora

3.1 Camada De Eficacia De Skill

Reusar como referencia externa:

Uso recomendado:

3.2 Camada De Tool Use

Reusar:

Uso recomendado:

3.3 Camada De Execucao Real

Reusar conforme o dominio:

Uso recomendado:

4. O Que Precisamos Construir Aqui

4.1 Skill Discovery Bench

Objetivo:

Entrada:

Metricas:

Casos que precisam existir:

Aqui vale absorver as licoes de:

4.2 Skill Fit Bench

Objetivo:

Condicoes:

Metricas:

Essa camada responde a pergunta:

4.3 Skill Composition Bench

Objetivo:

Exemplos bons para este projeto:

Metricas:

4.4 Skill Trust And Safety Bench

Objetivo:

Casos que deveriam entrar:

Metricas:

Isso parece especialmente importante para um ecossistema que quer lidar com:

4.5 Skill UX Bench

Objetivo:

Isso hoje quase nao aparece nos benchmarks existentes.

Metricas:

Casos ideais:

4.6 Skill Portability Bench

Objetivo:

Harnesses naturais para comparar:

Metricas:

5. Um V0 Realista

Eu comecaria pequeno e verificavel.

Escopo

Suites

  1. discovery
  1. execution
  1. composition
  1. trust

Dominios Iniciais

Para ficar alinhado ao repo atual:

6. Formato De Task

Cada task deveria ter algo como:

Campos importantes:

7. Metricas Que Eu Guardaria

A lista abaixo ja serve como base para o desenho do benchmark proprio.

7.1 Metricas primarias

Essas sao as metricas que realmente dizem se o sistema resolveu a task ou nao.

7.2 Metricas de eficiencia

Essas dizem o custo real de chegar no resultado.

7.3 Metricas de discovery e retrieval

Como o Freedom Skills deve lidar com marketplace/registry, essa camada precisa ser medida separadamente.

7.4 Metricas de uso de skills

Nao basta recuperar. Precisa medir se a skill foi realmente usada e se ajudou.

7.5 Metricas de qualidade da execucao

Aqui entra a qualidade do artefato final, nao apenas o fato de passar ou nao.

7.6 Metricas de seguranca, trust e policy

Essa parte parece central para o benchmark do Freedom Skills.

7.7 Metricas de UX para usuarios nao tecnicos

Essa e uma parte que quase nao aparece nos benchmarks atuais, mas para Freedom Skills deveria aparecer.

7.8 Metricas comparativas entre harnesses

Como o projeto e multi-harness, vale guardar metricas comparaveis por runtime.

7.9 Metricas diagnosticas

Essas nao sao headline, mas explicam porque um resultado deu certo ou errado.

7.10 O que eu logaria por corrida

Para nao descobrir tarde demais que faltou observabilidade, eu guardaria por run:

7.11 Minha shortlist de metricas para v1

Se eu fosse comecar pequeno, mediria obrigatoriamente:

  1. task success
  2. unsafe success rate
  3. retrieval recall@k
  4. distractor selection rate
  5. skills loaded vs skills actually used
  6. wall clock time
  7. total tokens
  8. cost
  9. clarification burden
  10. risk warning coverage
  11. skill portability failure rate
  12. trustworthy success rate

8. O Que Nao Fazer

9. Proxima Sequencia De Trabalho

Eu faria assim:

  1. Congelar um benchmark-registry.md com as suites externas que vao servir de referencia.
  2. Escolher 10 tasks canonicas do Freedom Skills.
  3. Definir verificadores deterministicos para essas 10 tasks.
  4. Montar um corpus pequeno de skills:
    • corretas
    • distratoras
    • outdated
    • maliciosas
  5. Rodar o primeiro corte em:
    • Codex
    • Claude Code
    • Gemini CLI
  6. So depois expandir volume.

10. Minha Opiniao

O espaco de benchmark de skills esta finalmente ficando serio, mas ainda esta incompleto.

O que ja existe hoje e bom para:

O que ainda falta, e onde o Freedom Skills pode ter opiniao propria, e:

Se o projeto fizer isso bem, nao vai estar so usando benchmarks existentes. Vai estar ajudando a definir a proxima geracao deles.

Referencias