Roadmap/skills-benchmarks-landscape.md

Benchmarks De Skills Em 2026

TL;DR

Hoje existem poucos benchmarks que medem skills diretamente, e quase todos sao de 2026.

• Os tres mais importantes sao:
  • SkillsBench
  • SWE-Skills-Bench
  • How Well Do Agentic Skills Work in the Wild
• O resto do ecossistema mede capacidades adjacentes: function calling, tool use, web agents, terminal agents, GUI agents e software engineering.
• Ainda nao parece existir um benchmark forte que combine:
  • descoberta de skill
  • qualidade da skill
  • composicao de multiplas skills
  • safety/trust/provenance
  • UX para usuarios nao tecnicos
  • comparacao cross-harness

Minha leitura: para o Freedom Skills, o caminho certo nao e esperar um benchmark pronto. E compor o que ja existe e construir a camada que falta.

1. Benchmarks Que Medem Skills Diretamente

1.1 SkillsBench

Fonte principal:

• Paper no arXiv
• Site oficial
• Repo oficial

Pontos centrais:

• O paper apresenta 86 tasks em 11 dominios, com verificadores deterministicos.
• Cada task e avaliada em tres condicoes:
  • sem skills
  • com skills curadas
  • com skills auto-geradas
• O resultado principal do paper: skills curadas sobem a pass rate media em +16.2 pontos percentuais, mas o ganho varia muito por dominio.
• O mesmo paper diz que skills auto-geradas nao trazem ganho medio, o que e um sinal importante: o agente ainda nao e bom em escrever por conta propria a memoria procedural de que ele se beneficiaria depois.
• O paper tambem argumenta que skills focadas, com 2-3 modulos, funcionam melhor do que documentacao ampla e enciclopedica.

Leitura pratica:

• Skills podem ajudar bastante.
• Mas a ajuda nao e uniforme.
• O formato da skill importa.
• “Mais contexto” nao e o mesmo que “melhor skill”.

Observacao importante de versao:

• O paper fala em 86 tasks.
• O site oficial hoje mostra leaderboard publica em 84 tasks.
• O repo tambem fala de benchmark ativo e tarefas publicas, mas sem cravar o mesmo numero do abstract.

Minha inferencia:

• O benchmark ainda esta evoluindo e o numero de tasks publicas/ativas mudou entre paper, repo e leaderboard.
• Para qualquer comparacao seria obrigatorio registrar data e versao.

Snapshot util do site em 2026-04-22:

• Codex + GPT-5.2: 30.6% sem skills -> 44.7% com skills
• Claude Code + Opus 4.6: 30.6% -> 44.5%
• Claude Code + Opus 4.5: 22.0% -> 45.3%
• Gemini CLI + Gemini 3 Flash: 31.3% -> 48.7%

O ponto mais importante aqui nao e o ranking em si. E que o site ja esta se posicionando como benchmark de agent + harness + model + skill, nao so de modelo base.

1.2 SWE-Skills-Bench

Fonte principal:

• Paper no arXiv
• Repo oficial

Pontos centrais:

• Benchmark requirement-driven focado em software engineering real.
• O paper emparelha 49 skills publicas com repositorios GitHub reais, fixados em commits especificos.
• O abstract reporta ~565 task instances em 6 subdominios.
• A avaliacao e pareada:
  • com skill
  • sem skill
• O resultado principal e bem mais sobrio do que o hype de mercado:
  • 39 de 49 skills nao melhoram a pass rate
  • ganho medio de apenas +1.2 pp
  • so 7 skills especializadas produzem ganho relevante
  • 3 pioram o desempenho
  • overhead de tokens vai de economia modesta ate +451% sem melhoria correspondente

Leitura pratica:

• Skill em engenharia de software nao pode ser tratada como magia.
• Skill generica, velha ou fora de contexto pode:
  • nao ajudar
  • aumentar custo
  • atrapalhar

Para o Freedom Skills, essa e talvez a licao mais importante de todo o levantamento:

• skill boa nao e “mais prompt”
• skill boa e contexto procedural certo, no momento certo, para o runtime certo

1.3 How Well Do Agentic Skills Work in the Wild

Fonte principal:

• Paper no arXiv
• Repo oficial

Pontos centrais:

• Esse trabalho faz a pergunta mais proxima do mundo real:
  • o que acontece quando o agente precisa procurar, selecionar e adaptar skills sozinho?
• O repo usa:
  • SkillsBench com 84 tasks
  • Terminal-Bench 2.0 com 89 tasks
  • um conjunto de 34 mil skills reais
• O paper avalia varios cenarios:
  • skills force-loaded
  • skills curadas
  • skills curadas com distractors
  • retrieval top-k em repositorio grande
  • refinement query-specific
  • refinement query-agnostic

Resultado principal:

• O ganho de skills degrada consistentemente quando o setup fica mais realista.
• Ou seja:
  • no laboratorio a skill parece otima
  • no marketplace real, com ruido e selecao imperfeita, o ganho some ou cai muito
• O abstract destaca que refinamento query-specific recupera parte relevante desse valor.
• No Terminal-Bench 2.0, o paper reporta melhoria de 57.7% para 65.5% para Claude Opus 4.6 com query-specific refinement.

Leitura pratica:

• A parte dificil nao e so escrever a skill.
• A parte dificil e:
  • encontrar a skill certa
  • nao cair em falsos positivos
  • adaptar a skill ao caso concreto
  • lidar com skills imperfeitas

Isso encaixa muito com o problema real de um registry de skills.

2. Benchmarks Adjacentes Que Importam Muito

Eles nao medem “skills” diretamente, mas medem capacidades sem as quais um ecossistema de skills nao fecha.

2.1 Function Calling E Tool Use

Leitura pratica:

• BFCL e a melhor referencia para tool invocation.
• tau-bench e mais proximo de policy-following em fluxo real.
• ToolSandbox e util para medir onde a skill depende de estado acumulado, nomes canonicos, precondicoes e informacao faltante.

2.2 Web Agents

Pontos uteis:

• O paper do WebArena reporta melhor agente GPT-4-based com 14.41% vs 78.24% humano.
• O repo do WebArena fala de 812 examples na avaliacao end-to-end.
• O repo do VisualWebArena fala em 910 tasks no conjunto completo.
• O repo do WorkArena fala em 19.912 instancias unicas de 33 tasks atomicas, e o WorkArena++ com 682 tasks composicionais.
• O repo do WebArena-Verified destaca um subset hard de 258 tasks e avaliacao offline deterministica.

2.3 GUI, Desktop E Mobile

Pontos uteis:

• O repo do AndroidWorld fala em 116 tasks em 20 apps e milhoes de variacoes parametrizadas.
• O repo do OSWorld destaca o lancamento de OSWorld-Verified em 2025-07-28.
• O abstract do OSWorld-MCP fala em 158 ferramentas validadas em 7 apps e evidencia que MCP tools costumam melhorar o sucesso, mas a taxa de invocacao correta ainda e baixa.

2.4 Terminal, Coding E Software Engineering

Pontos uteis:

• O repo do Terminal-Bench diz que o benchmark ainda esta em beta com ~100 tasks.
• O repo do Skill-Usage usa Terminal-Bench 2.0 com 89 tasks.
• O repo do SWE-bench destaca SWE-bench Verified como subset de 500 problemas validado por engenheiros.
• O repo do TheAgentCompany fala em 175 task images dentro de uma empresa simulada.

Leitura pratica:

• Se o Freedom Skills quiser provar valor em runtime real, Terminal-Bench, SWE-bench Verified e TheAgentCompany sao as referencias mais fortes do lado de “fazer de verdade”.

2.5 Assistants Generalistas E Lifelong Learning

Pontos uteis:

• O paper do GAIA apresenta 466 questoes e reporta 92% humano vs 15% GPT-4 com plugins na epoca.
• O paper do AgentBench cobre 8 ambientes.
• O paper do LifelongAgentBench e um dos poucos que trata explicitamente de tarefas skill-grounded e interdependentes.

3. O Que Ainda Falta No Mercado

Mesmo somando tudo acima, ainda faltam partes importantes para um ecossistema serio de skills.

3.1 Descoberta E Roteamento De Skills

Ainda ha pouco benchmark convincente para:

• recuperar a skill certa em repositorios enormes
• distinguir skills parecidas mas semanticamente diferentes
• avaliar metadata enganosa ou insuficiente

Dois trabalhos adjacentes importam aqui:

• SkillRouter: estuda roteamento em ~80k skills e 75 queries verificadas por especialistas
• Semantic Tool Discovery for MCP: trabalha descoberta semantica de ferramentas MCP

3.2 Trust, Safety E Manipulacao De Ranking

Tambem falta benchmark forte para:

• skill maliciosa
• skill outdated
• skill com capabilities excessivas
• skill description manipulada para ser escolhida indevidamente

Trabalho adjacente importante:

• ToolTweak: mostra que nomes e descricoes de tools podem enviesar fortemente a selecao

Isso importa muito para qualquer marketplace ou registry.

3.3 UX Para Nao Tecnicos

Quase nenhum benchmark atual mede bem:

• se a skill reduz ambiguidade
• se a skill melhora onboarding
• se o agente avisa sobre risco e privacidade na hora certa
• se a resposta fica mais compreensivel para um usuario leigo

Para o Freedom Skills, isso parece central, nao periferico.

4. O Que Isso Implica Para O Freedom Skills

Minha leitura atual:

• Se a pergunta for “ja existe benchmark de skills?” a resposta curta e:
  • sim, mas ainda sao poucos e novos
• Se a pergunta for “ja existe benchmark pronto para o tipo de sistema que queremos?” a resposta e:
  • nao

O que existe hoje cobre bem:

• eficacia local de skills
• tool use
• execucao em web/OS/terminal
• coding agents

O que ainda falta e exatamente a parte mais interessante para esse projeto:

• discovery
• trust
• portability entre harnesses
• composicao multi-skill
• UX guiada e segura

Por isso faz sentido usar os benchmarks existentes como base comparativa e construir uma camada propria por cima.

O documento complementar com essa proposta esta em skills-benchmark-strategy.md.

Fontes

Benchmarks diretos de skills

• SkillsBench site
• SkillsBench paper
• SkillsBench repo
• SWE-Skills-Bench paper
• SWE-Skills-Bench repo
• How Well Do Agentic Skills Work in the Wild
• Skill-Usage repo

Tool use e function calling

• BFCL leaderboard
• BFCL repo
• ToolTalk
• ToolSandbox
• tau-bench
• tau2-bench
• API-Bank

Web, GUI, terminal e coding

• WebArena
• WebArena repo
• VisualWebArena
• VisualWebArena repo
• AssistantBench
• WorkArena repo
• WorkArena paper
• WorkArena++ paper
• WebArena-Verified repo
• OSWorld paper
• OSWorld repo
• OSWorld-MCP paper
• AndroidWorld paper
• AndroidWorld repo
• MobileWorld repo
• Terminal-Bench repo
• Terminal-Bench paper
• SWE-bench repo
• SWE-bench paper
• SWE-bench Multimodal
• TheAgentCompany paper
• TheAgentCompany repo

Assistants gerais, memoria e discovery

• GAIA
• AgentBench
• LifelongAgentBench
• SkillRouter
• Semantic Tool Discovery for MCP
• ToolTweak