Inteligência Artificial
Aula 10 – Aprendizado de Máquina
Edirlei Soares de Lima
<edirlei@iprj.uerj.br>
Agentes Vistos Anteriormente
•
Agentes baseados em busca:
–
–
–
Busca cega
Busca heurística
Busca local
•
•
Agentes baseados em lógica:
–
Lógica proposicional
–
Lógica de primeira ordem
Agentes baseados em planejamento:
–
Planejamento de ordem parcial
–
Planejamento em ambientes não-determinísticos
Introdução
•
•
Computadores realmente são capazes de aprender?
Infelizmente ainda não sabemos exatamente como fazer
computadores aprender de uma maneira similar a maneira
como os humanos aprendem.
•
Entretanto, existem algoritmos que são eficientes em certos
tipos de tarefas de aprendizagem.
O que é Aprendizagem de Máquina?
O que é Aprendizagem de Máquina?
•
•
Aprender significa “mudar para fazer melhor” (de
acordo com um dado critério) quando uma situação
similar acontecer.
Aprendizagem, não é memorizar. Qualquer
computador pode memorizar, a dificuldade está em
generalizar um comportamento para uma nova
situação.
Importância do Aprendizado
•
Por que é importante para um agente aprender?
–
–
–
Os programadores não podem antecipar todas as situações que o
agente pode encontrar.
Exemplo: Um robô programado para andar em um único labirinto pode não saber andar
em outros.
Os programadores não podem antecipar todas as mudanças que
podem acontecer com o passar do tempo.
Exemplo: Agente programado para prever as melhores opção de bolsa para investir
precisa se adapta quando o ambiente muda.
Os programadores nem sempre sabem encontrar a solução dos
problemas diretamente.
Exemplo: Programar um sistema para reconhecer faces não é algo trivial.
Como Aprender Algo?
•
Exemplos:
–
Considerando um agente treinando para se
tornar um motorista de táxi. Toda vez que o
instrutor gritar "freio!" o agente pode
aprender uma condição de quando ele deve
frear.
–
–
Ao ver várias imagens que contem ônibus, o
agente pode aprender a reconhecê-los.
Ao tentar ações e observar os resultados.
Por exemplo, ao frear forte em uma estrada
molhada pode aprender que isso não tem
um efeito bom.
Formas de Aprendizado
•
•
•
Aprendizado Supervisionado
Aprendizado Não Supervisionado
Aprendizado Por Reforço
Aprendizado Supervisionado
•
•
•
•
Observa-se alguns pares de exemplos de entrada e saída, de forma a
aprender uma função que mapeia a entrada para a saída.
Damos ao sistema a “resposta correta” durante o processo de
treinamento.
É eficiente pois o sistema pode trabalhar diretamente com informações
corretas.
“Útil para classificação, regressão, estimação de probabilidade condicional
(
um determinado produto?)
qual é a probabilidade de um cliente com um determinado perfil comprar
Aprendizado Supervisionado
•
Exemplo:
Considerando um agente treinando para ser se tornar um motorista
de táxi. Toda vez que o instrutor gritar "freio!" o agente pode aprender
uma condição de quando ele deve frear.
–
–
A entrada é formada pelos dados percebidos pelo agente através de
sensores. A saída é dada pelo instrutor que diz quando se deve frear,
virar a direita, virar a esquerda, etc.
Aprendizado Não Supervisionado
•
•
O agente reconhece padrões nos dados de entrada,
mesmo sem nenhum feedback de saída.
Por exemplo, um agente aprendendo a dirigir pode
gradualmente desenvolver um conceito de dias de
bom trafego e dias de trafego congestionado mesmo
sem nunca ter recebido exemplos rotulados por um
professor.
Aprendizado Por Reforço
•
•
•
•
O agente recebe uma série de reforços, recompensas ou
punições.
Por exemplo, a falta de uma gorjeta no final do percurso da ao
agente taxista uma indicação de que ele fez algo errado.
Cabe ao agente reconhecer qual das ações antes do reforço
foram as maiores responsáveis por isso.
Não damos a “resposta correta” para o sistema. O sistema faz
uma hipótese e determina se essa hipótese foi boa ou ruim.
Fases da Aprendizagem
•
•
Treinamento
–
–
–
Apresenta-se exemplos ao sistema.
O sistema “aprende” a partir dos exemplos.
O sistema modifica gradualmente os seus parâmetros para que a saída
se aproxime da saída desejada.
Utilização
–
Novos exemplos jamais visto são apresentados ao sistema.
O sistema deve generalizar e reconhecê-los.
–
Exemplos de Treinamento
Aprendizado Supervisionado)
(
Atributos
Exemplo
Atrib1
0.24829
0.24816
0.24884
0.24802
0.24775
Atrib2
0.49713
0.49729
0.49924
0.50013
0.49343
Atrib3
0.00692
0.00672
0.01047
0.01172
0.01729
Atrib4
-0.020360
0.0065762
-0.002901
0.001992
-0.014341
Atrib5
0.429731
0.431444
0.423145
0.422416
0.420937
Atrib6
-0.2935
Classe
X1
X2
X3
X4
X5
1
1
3
2
2
-0.29384
-0.28956
-0.29092
-0.29244
Classificação de Exemplos
Desconhecidos
Atributos
Exemplo
Atrib1
0.22829
0.21816
0.23884
0.23002
0.24575
Atrib2
0.48713
0.48729
0.49824
0.49013
0.49243
Atrib3
0.00592
0.00572
0.01447
0.02172
0.01029
Atrib4
-0.010360
0.0045762
-0.003901
0.002992
-0.015341
Atrib5
0.419731
0.421444
0.433145
0.412416
0.430937
Atrib6
-0.2845
Classe
X1
X2
X3
X4
X5
?
?
?
?
?
-0.28484
-0.24956
-0.28092
-0.28244
Espaço de Características
2,20
2,00
1,80
1,60
1,40
1,20
1,10
Altura
20
40
60
70
90
110 130 150
Peso
Tipos de Problemas
•
•
•
Classificação:
–
Responde se uma determinada “entrada” pertence a uma certa classe.
–
Dada a imagem de uma face: de quem é esta face (dentre um número
finito).
Regressão:
–
Faz uma predição a partir de exemplos.
–
Predizer o valor da bolsa amanhã, dados os valores de dias e meses
anteriores.
Estimação de Densidade:
–
Estima quais são as N categorias presente nos dados.
Aprendizado Supervisionado
•
•
Dado uma quantidade finita de dados para o treinamento, temos que
derivar uma função h que se aproxime da verdadeira função f(x) (a qual
gerou os dados e é desconhecida).
Existe um número infinito de funções h.
Aprendizado Supervisionado
•
•
Dado uma quantidade finita de dados para o treinamento, temos que
derivar uma função h que se aproxime da verdadeira função f(x) (a qual
gerou os dados e é desconhecida).
Existe um número infinito de funções h.
Aprendizado Supervisionado
•
•
Dado uma quantidade finita de dados para o treinamento, temos que
derivar uma função h que se aproxime da verdadeira função f(x) (a qual
gerou os dados e é desconhecida).
Existe um número infinito de funções h.
Aprendizado Supervisionado
•
•
Dado uma quantidade finita de dados para o treinamento, temos que
derivar uma função h que se aproxime da verdadeira função f(x) (a qual
gerou os dados e é desconhecida).
Existe um número infinito de funções h.
Aprendizado Supervisionado
•
•
Dado uma quantidade finita de dados para o treinamento, temos que
derivar uma função h que se aproxime da verdadeira função f(x) (a qual
gerou os dados e é desconhecida).
Existe um número infinito de funções h.
Generalizar é Difícil
•
•
Não queremos aprender por memorização
–
–
–
Boa resposta sobre os exemplos de treinamento somente.
Fácil para um computador.
Difícil para os humanos.
Aprender visando generalizar
–
–
–
Mais interessante.
Fundamentalmente mais difícil: diversas maneiras de generalizar.
Devemos extrair a essência, a estrutura dos dados e não somente
aprender a boa resposta para alguns casos.
Exemplo
•
Função-alvo f (melhor resposta possível).
Exemplo - Overfitting
•
Erro baixo sobre os exemplos de aprendizagem. Mais
elevado para os de teste.
Exemplo - Underfitting
•
Escolhemos um modelo muito simples (linear): erro
elevado na aprendizagem.
Exemplo – Um Bom Modelo
•
O modelo é suficientemente flexível para capturar a
forma curva da função f mais não é suficiente para
ser exatamente igual a função f.
Teoria de Aprendizado Computacional
•
Como sabemos se a hipótese h está próxima da função-alvo f,
se não conhecemos o que é f?
•
•
Este é um aspecto de uma questão mais abrangente: como
saber se um algoritmo de aprendizado produziu uma teoria
que preverá corretamente o futuro?
Qualquer hipótese que é consistente com um conjunto
suficientemente grande de exemplos é pouco provável de
estar seriamente errada.
Algoritmos
•
Aprendizado Supervisionado
–
–
–
–
Árvores de Decisão
KNN
SVM
Redes Neurais
•
•
Aprendizado Não Supervisionado
–
–
–
Clusterização Sequencial
Clusterização Hierárquica
K-Means
Aprendizado Por Reforço
–
Q-Learning
Leitura Complementar
•
Russell, S. and Norvig, P. Artificial Intelligence: a
Modern Approach, 3nd Edition, Prentice-Hall,
2009.
•
Capítulo 18: Learning from Observations