AI Quality Analyst - English / Avaliação de Personalização do Gemini
Sobre a Vaga
🔍 Oportunidade remota para analistas com bom inglês e olhar crítico! Esta vaga é oferecida pela Turing, aceleradora de pesquisa para os principais laboratórios de IA do mundo. Inscreva-se pelo link abaixo:
👉 https://work.turing.com/r/Qn_JlY8Xjz
Como AI Quality Analyst, você vai avaliar uma nova funcionalidade de personalização do Gemini, medindo o quanto o modelo usa informações das suas conversas anteriores, do Gmail, do Google Search e da sua atividade no YouTube para deixar as respostas mais relevantes e úteis. A função exige uma mistura rara de criatividade e rigor analítico: você cria os prompts a partir das suas experiências pessoais e depois avalia a qualidade das respostas personalizadas em dimensões como fundamentação, integração e utilidade.
ATENÇÃO, requisito incomum: é necessário usar sua conta pessoal principal do Google, e não uma conta de teste, com as fontes de dados pessoais habilitadas para que a avaliação seja genuína. Avalie se você está confortável com isso antes de se candidatar.
Responsabilidades
- Criar e executar prompts conversacionais de múltiplos turnos (normalmente de 1 a 5) que exijam que a IA use suas informações e experiências pessoais
- Avaliar as respostas do modelo com base na sua intenção original, verificando se a personalização foi aplicada de forma adequada
- Analisar problemas de fundamentação, garantindo que afirmações sobre você tenham respaldo em evidência e não sejam inferências equivocadas ou alucinações
- Avaliar a qualidade da integração, verificando se os dados pessoais foram incorporados de forma natural, sem narração robótica e excessiva
- Comparar e ranquear duas respostas do modelo lado a lado para determinar qual é mais útil, fácil de usar e agradável
- Escrever justificativas claras e defensáveis para cada comparação, apontando exatamente em que turno da conversa o problema ou o acerto ocorreu
- Extrair e verificar as informações de debug do modelo para confirmar que os resumos de conversa e as fontes de dados foram usados corretamente
- Manter higiene de dados rigorosa, apagando as conversas de avaliação para não poluir seu histórico futuro
- Detalhes do compromisso:
- Ao menos 4 horas por dia e até 40 horas por semana
- 4 horas de sobreposição com o fuso PST (horário do Pacífico dos EUA)
- Contrato de 3 meses, em regime de prestação de serviços
- Disponibilidade em tempo integral no seu fuso local, já que o time opera 24 horas
Requisitos
- Inglês com alto grau de compreensão para leitura e escrita, já que é o idioma foco do projeto
- Disposição para usar sua conta pessoal principal do Google, com as fontes de dados pessoais habilitadas
- Disponibilidade em tempo integral no seu fuso horário local, com 4 horas de sobreposição com o fuso PST
- Pensamento analítico excepcional para avaliar respostas de IA ambíguas e cheias de nuance
- Experiência criando prompts criativos de múltiplos turnos a partir de contexto pessoal
- Entendimento de conceitos de personalização, sabendo identificar personalização incorreta, inferências mal feitas e conexões forçadas
- Atenção meticulosa a detalhes para comparar respostas lado a lado e notar diferenças sutis de naturalidade
- Comunicação escrita superior, capaz de produzir justificativas claras, concisas e estruturadas
- Autonomia e automotivação para trabalhar de forma independente em ambiente remoto
- Computador com boa conexão de internet
- Formação superior ou experiência equivalente em área analítica como Direito, Políticas Públicas, Ética, Linguística, Jornalismo ou Ciência da Computação
- Fortemente preferencial: experiência em anotação de dados, avaliação de qualidade de IA ou moderação de conteúdo
Benefícios
- apenas o bônus de indicação de $100. Confirme a faixa de pagamento durante o processo seletivo. Contrato de 3 meses
Vagas semelhantes para você
Selecionadas com base na tecnologia, modalidade, nível e localização desta oportunidade.