O aprendizado de máquina é um ramo da Inteligência Artificial, que permite às máquinas realizar análises de dados e fazer previsões. No entanto, se o modelo de aprendizado de máquina não for preciso, ele poderá cometer erros de previsão, e esses erros de previsão são geralmente conhecidos como Viés e Variância. No aprendizado de máquina, esses erros estarão sempre presentes, pois sempre há uma ligeira diferença entre as previsões do modelo e as previsões reais. O principal objetivo dos analistas de ML/ciência de dados é reduzir esses erros para obter resultados mais precisos. Neste tópico, discutiremos viés e variância, compensação entre viés e variância, subajuste e sobreajuste. Mas antes de começar, vamos primeiro entender o que são erros de aprendizado de máquina?
Erros no aprendizado de máquina?
No aprendizado de máquina, um erro é uma medida da precisão com que um algoritmo pode fazer previsões para um conjunto de dados anteriormente desconhecido. Com base nesses erros, é selecionado o modelo de aprendizado de máquina que pode ter melhor desempenho no conjunto de dados específico. Existem principalmente dois tipos de erros no aprendizado de máquina, que são:
independentemente de qual algoritmo foi usado. A causa desses erros são variáveis desconhecidas cujo valor não pode ser reduzido.
O que é preconceito?
Em geral, um modelo de aprendizado de máquina analisa os dados, encontra padrões neles e faz previsões. Durante o treinamento, o modelo aprende esses padrões no conjunto de dados e os aplica aos dados de teste para previsão. Ao fazer previsões, ocorre uma diferença entre os valores de previsão feitos pelo modelo e os valores reais/valores esperados , e esta diferença é conhecida como erros de polarização ou erros devido a polarização . Pode ser definido como uma incapacidade dos algoritmos de aprendizado de máquina, como a regressão linear, de capturar o verdadeiro relacionamento entre os pontos de dados. Cada algoritmo começa com uma certa quantidade de viés porque o viés ocorre a partir de suposições do modelo, o que torna a função alvo simples de aprender. Um modelo tem:
preenchimento np
Geralmente, um algoritmo linear tem um viés alto, pois faz com que aprendam rápido. Quanto mais simples for o algoritmo, maior será o viés que provavelmente será introduzido. Considerando que um algoritmo não linear geralmente tem baixo viés.
Alguns exemplos de algoritmos de aprendizado de máquina com baixo viés são árvores de decisão, k-vizinhos mais próximos e máquinas de vetores de suporte . Ao mesmo tempo, um algoritmo com alto viés é Regressão Linear, Análise Discriminante Linear e Regressão Logística.
Maneiras de reduzir o preconceito elevado:
O alto viés ocorre principalmente devido a um modelo muito simples. Abaixo estão algumas maneiras de reduzir o viés alto:
- Aumente os recursos de entrada à medida que o modelo for mal ajustado.
- Diminuir o prazo de regularização.
- Use modelos mais complexos, como incluir alguns recursos polinomiais.
O que é um erro de variação?
A variância especificaria a quantidade de variação na previsão se diferentes dados de treinamento fossem usados. Em palavras simples, a variância informa o quanto uma variável aleatória é diferente de seu valor esperado. Idealmente, um modelo não deve variar muito de um conjunto de dados de treinamento para outro, o que significa que o algoritmo deve ser bom na compreensão do mapeamento oculto entre variáveis de entrada e saída. Erros de variação são qualquer um dos baixa variância ou alta variância.
Baixa variação significa que há uma pequena variação na previsão da função alvo com alterações no conjunto de dados de treinamento. Ao mesmo tempo, Alta variação mostra uma grande variação na previsão da função alvo com mudanças no conjunto de dados de treinamento.
Um modelo que mostra alta variância aprende muito e tem um bom desempenho com o conjunto de dados de treinamento, e não generaliza bem com o conjunto de dados não visto. Como resultado, tal modelo dá bons resultados com o conjunto de dados de treinamento, mas mostra altas taxas de erro no conjunto de dados de teste.
string java de array
Como, com alta variância, o modelo aprende muito com o conjunto de dados, isso leva ao superajuste do modelo. Um modelo com alta variância tem os problemas abaixo:
- Um modelo de alta variância leva ao overfitting.
- Aumente as complexidades do modelo.
Normalmente, algoritmos não lineares possuem muita flexibilidade para ajustar o modelo, possuem alta variância.
Alguns exemplos de algoritmos de aprendizado de máquina com baixa variância são, Regressão Linear, Regressão Logística e Análise Discriminante Linear . Ao mesmo tempo, algoritmos com alta variância são árvore de decisão, máquina de vetores de suporte e K vizinhos mais próximos.
Maneiras de reduzir a alta variação:
- Reduza os recursos de entrada ou o número de parâmetros à medida que um modelo é superajustado.
- Não use um modelo muito complexo.
- Aumente os dados de treinamento.
- Aumentar o prazo de Regularização.
Diferentes combinações de polarização-variância
Existem quatro combinações possíveis de tendências e variações, que são representadas pelo diagrama abaixo:
matemática java
A combinação de baixo viés e baixa variância mostra um modelo ideal de aprendizado de máquina. No entanto, não é possível na prática.
Com alto viés e alta variância, as previsões são inconsistentes e também imprecisas, em média.
Como identificar alta variância ou alto viés?
Alta variância pode ser identificada se o modelo tiver:
- Baixo erro de treinamento e alto erro de teste.
High Bias pode ser identificado se o modelo tiver:
- Alto erro de treinamento e o erro de teste é quase semelhante ao erro de treinamento.
Troca de polarização-variância
Ao construir o modelo de aprendizado de máquina, é muito importante cuidar do viés e da variância para evitar sobreajuste e subajuste no modelo. Se o modelo for muito simples com menos parâmetros, poderá ter baixa variância e alto viés. Já se o modelo tiver um grande número de parâmetros, terá alta variância e baixo viés. Portanto, é necessário fazer um equilíbrio entre os erros de viés e de variância, e esse equilíbrio entre o erro de viés e o erro de variância é conhecido como a compensação entre polarização e variância.
Para uma previsão precisa do modelo, os algoritmos precisam de baixa variância e baixo viés. Mas isso não é possível porque o viés e a variância estão relacionados entre si:
- Se diminuirmos a variância, aumentará o viés.
- Se diminuirmos o viés, aumentará a variância.
A compensação entre polarização e variância é uma questão central na aprendizagem supervisionada. Idealmente, precisamos de um modelo que capture com precisão as regularidades nos dados de treinamento e, ao mesmo tempo, generalize bem com o conjunto de dados não visto. Infelizmente, fazer isso não é possível simultaneamente. Porque um algoritmo de alta variância pode funcionar bem com dados de treinamento, mas pode levar ao ajuste excessivo de dados ruidosos. Já o algoritmo de alto viés gera um modelo muito simples que pode nem capturar regularidades importantes nos dados. Portanto, precisamos encontrar um ponto ideal entre o viés e a variância para criar um modelo ideal.
Portanto, o A compensação entre polarização e variância consiste em encontrar o ponto ideal para fazer um equilíbrio entre erros de polarização e variância.