Se cair mais de 5%, venda.
Um limite definido antes, aplicado do mesmo jeito em todo cenário.
Um estudo com a VALE3: como avaliar se um modelo consegue prever o retorno do próximo mês melhor que a média histórica?
Das regras fixas à validação temporal, acompanhe o método, explore as demonstrações e entenda por que os modelos avaliados terminaram em “sem sinal”.
Messyas Gois França
Artigo-base: From Fixed Rules to Machine Learning: Out-of-Sample Evaluation and Model Promotion in a Financial Decision-Support Bot
02 / 27
Uma regra fixa repete uma decisão; um modelo aprende padrões do histórico. A segunda opção também precisa provar que funciona quando o futuro ainda não é conhecido.
Um limite definido antes, aplicado do mesmo jeito em todo cenário.
Encontra padrões no passado, mas pode errar quando o mercado muda.
A pergunta: que evidência precisamos antes de deixar um modelo influenciar a decisão?
03 / 27
O retorno da Vale acompanha minério de ferro, câmbio e o setor. Mas uma relação econômica plausível não garante que a informação chegue antes do resultado.
04 / 27 · CONTEXTO
A hipótese dos mercados eficientes diz que os preços incorporam informação disponível. Não significa que nada possa ser previsto: significa que sinais persistentes são difíceis de encontrar.
Na literatura, bons modelos podem ter R² mensal de 0,4% a 1%.
Juros, câmbio, commodities e crises mudam o comportamento dos dados.
Testar várias opções nos mesmos dados faz alguns resultados parecerem bons por acaso.
Usar informação futura melhora artificialmente o teste.
05 / 27 · FUNDAMENTOS
Os trabalhos de Eduardo Palhares estudam ciclos econômicos e indicadores antecedentes: séries contínuas são transformadas em classes para comparar estados da economia.
15 séries mensais: produção, vendas, confiança, crédito e moeda.
2, 3 ou 5 estados definidos por limites de variação.
Sete classificadores comparados com validação temporal.
06 / 27
No esquema binário de alta ou queda, os sete modelos tiveram acurácia de teste entre 80% e 90% — acima da acurácia de treino.
| Modelo | k-NN | NB | Árvore | RF | LR | SVC | Rede |
|---|---|---|---|---|---|---|---|
| Treino | 78,8% | 75,8% | 72,7% | 72,7% | 75,8% | 72,7% | 72,7% |
| Teste | 90,0% | 87,1% | 80,0% | 88,6% | 84,3% | 88,6% | 85,7% |
Um bom resultado ainda precisa responder: acima de qual referência?
07 / 27 · CLASSES
Mudar os limites altera quantos casos entram em cada classe e o significado de um acerto.
16% queda · 68% centro · 16% alta
25% queda · 50% centro · 25% alta
Classes muito raras dificultam o aprendizado e a avaliação. O artigo usa uma faixa central de 50%.
08 / 27
Ajuste a média, o desvio e o esquema de classes. A curva, as áreas coloridas e os limites acompanham os controles; o retorno observado indica a classe resultante.
Carregando demonstração…
Demonstração de uma distribuição normal de referência. Os retornos reais podem ter assimetria e caudas mais pesadas.
09 / 27
A normal posiciona os limites; não descreve perfeitamente a distribuição dos retornos.
Um mês soma cerca de 21 retornos diários.
Com 72 meses, o limite normal tem menor erro-padrão que o quantil empírico.
Dada média e variância, acrescenta menos suposições.
É base de modelos probit e dos estudos anteriores.
Nos dados, a normal é rejeitada (Jarque–Bera, p = 0,001); a classe central tem 54,5% dos meses, próximo dos 50% esperados (p = 0,26).
10 / 27 · ARTIGO
Antes, o bot escolhia o melhor macro F1 e convertia a classe prevista em compra ou venda. Agora, só um modelo aprovado pode influenciar a decisão.
Um F1 alto podia refletir sorte ou desequilíbrio entre classes.
Comparar com referência histórica e corrigir a significância por múltiplos testes.
11 / 27
O critério de promoção fica entre o treino e a produção; monitoramento pode exigir uma nova avaliação.
12 / 27 · ALVO
Prevemos o retorno, não o preço. O preço tem tendência persistente; o retorno oscila em torno de uma média de 1,3% ao mês, com desvio de 10,1%.
Fechamento de BHP e Rio Tinto antes da decisão.
Indicadores financeiros; atraso mediano de 88 dias.
Retorno da VALE3 até o último pregão do próximo mês.
Decidimos em t com o que já era público. O alvo só se conhece ao fim de t + 1.
13 / 27
Se o modelo não erra menos que quem repete a média dos retornos passados, sua complexidade não acrescentou valor.
Positivo: erra menos que a referência. Negativo: erra mais.
14 / 27 · CRITÉRIO
R² positivo pode ocorrer por acaso. O critério combina desempenho e teste estatístico, definidos antes da avaliação.
O modelo errou menos que a média histórica.
Avalia se o ganho compensa parâmetros estimados a mais.
Corrige quatro configurações para evitar aprovação casual.
Só passa se cumprir as duas condições, com p-valor ajustado abaixo de 0,05.
15 / 27
Cada previsão usa somente os dados conhecidos na data da decisão. Mova o controle para acompanhar o crescimento da janela de treino ao longo da avaliação.
Carregando demonstração…
Diagrama esquemático: as nove linhas representam etapas selecionadas das 82 decisões; cada ponto não corresponde a um mês individual.
16 / 27
Nenhuma das quatro configurações superou a média histórica nos 82 meses avaliados. Selecione um modelo para comparar seu erro com o da referência.
Carregando demonstração…
Os p-valores ajustados por Holm foram 1,000. No Ridge com pares, o intervalo de confiança do R²OS ficou entre −4,1% e −0,4%.
17 / 27
Entre 76 e 82 previsões das 82 ficaram em “estabilidade”. O modelo raramente saiu da média.
No Ridge, a previsão varia 0,4 ponto percentual; a faixa central tem meia-largura de 7,6. Ela quase nunca é cruzada.
18 / 27
Mais cinco regressores, de famílias usadas nos estudos anteriores, também ficaram abaixo da referência.
| R² fora da amostra | OLS | k-NN | Árvore | SVR | Rede |
|---|---|---|---|---|---|
| Só pares | −2,0% | −39,9% | −197,0% | −29,4% | −16,1% |
| Pares + balanços | −22,5% | −27,3% | −114,3% | −23,6% | −601,1% |
Árvore e rede tiveram macro F1 maior, mas com previsões mais instáveis e erros de 2 a 7 vezes o da média.
19 / 27 · COMPARAÇÃO
Repetimos a classificação dos estudos anteriores em 42 combinações, inclusive com a série de minério que não conseguimos auditar.
Combinações superou a previsão da maioria, por um mês.
Melhor macro F1, escolhido entre 42 tentativas.
Permutação no protocolo point-in-time.
Sem referência trivial e correção por múltiplas tentativas, um ganho aparente poderia ser confundido com sinal.
20 / 27
BHP e Rio Tinto acompanham VALE3 no mesmo mês. Quando a decisão é deslocada para o mês seguinte, a relação some.
O mercado incorpora a informação do setor dentro do mês. Depois, sobra pouco para prever o próximo.
21 / 27
Alterne a informação usada na decisão e veja como o acesso indevido ao mês-alvo muda artificialmente o resultado.
Carregando demonstração…
Os números são os resultados publicados para os dois protocolos. O cenário com vazamento não é uma previsão válida.
22 / 27
Ajuste o R² fora da amostra e o p-valor corrigido. O modelo só pode avançar quando as duas condições estatísticas são atendidas.
Carregando demonstração…
Os controles ilustram o critério de decisão. Ajustá-los não estima um modelo nem produz evidência sobre o mercado.
23 / 27
Explore as intensidades de sinal testadas no artigo. Mesmo um sinal verdadeiro de 1% de R² foi aprovado em apenas 13,8% das simulações.
Carregando demonstração…
500 simulações por intensidade, com 82 previsões. Os pontos são resultados publicados, sem interpolação nem novas simulações de mercado.
24 / 27 · DECISÃO
Na avaliação acumulada até agosto de 2026, o Ridge teve R²OS de −1,96% e p = 0,978. O critério rejeitou.
Não agir também é uma decisão. Aqui, é a que os dados sustentam.
25 / 27 · LIMITES
Para este ativo, período e protocolo, nenhum modelo testado justificou aprovação. Isso não prova que ML nunca funcione em ações nem que o resultado se aplique a outros ativos.
Com 82 meses, só detectaríamos correlações em torno de 0,36.
Parte do histórico já havia sido explorada; 2026 tem apenas oito meses.
Não simulamos custos de transação e não recuperamos o painel de seis empresas do bot antigo.
26 / 27 · PRÓXIMOS PASSOS
Ampliar o conjunto de dados sem mudar o protocolo nem afrouxar o critério de aprovação.
Auditar datas de publicação do minério.
Acumular novos meses como avaliação independente.
Testar outros horizontes, classes e custos de transação.
Sentimento pode gerar novas variáveis, desde que respeite a data de publicação e passe pelo mesmo portão.
NLP amplia as fontes de informação; não elimina ruído, atraso de publicação ou necessidade de validação temporal.
27 / 27 · ENCERRAMENTO

Perguntas e discussão