Metodologia LumenJus IA
Entenda como nosso sistema avalia e desenvolve as competências em IA.
O sistema foi desenhado para ser um ciclo contínuo de diagnóstico, aprendizagem e aplicação, garantindo um desenvolvimento progressivo e personalizado.
1. Diagnóstico
O servidor responde a um questionário para mapear suas habilidades e conhecimentos atuais em IA.
2. Nivelamento
Com base no resultado, o sistema atribui um Nível de Proficiência e define uma trilha de capacitação.
3. Capacitação
O servidor acessa cursos e materiais personalizados para desenvolver as competências do seu nível.
Os servidores são classificados em quatro níveis, cada um com focos de desenvolvimento específicos, conforme o Art. 5º.
Nível 1: Básico 0-25 pontos
Perfil Geral: Usuário(a) iniciante que reconhece o valor da IA mas necessita de orientação constante para uso seguro e adequado.
| Dimensão | Descritor Comportamental | Exemplo Prático no TJRO |
|---|---|---|
| Cognitiva | identifica conceitos básicos de IA, ML e PLN; conhece a existência da Res. 615/CNJ e Res. 356/TJRO | sabe que o sistema usa IA para sugerir minutas, mas não compreende como funciona internamente |
| Técnica | opera ferramentas homologadas sob supervisão; elabora prompts simples com auxílio | usa o assistente de minutas com orientação de colegas para gerar despachos simples |
| Analítica | reconhece necessidade de revisão, mas depende de outros(as) para identificar erros complexos | lê o texto gerado pela IA mas não identifica inconsistências jurídicas sutis |
| Ética-Jurídica | conhece princípios básicos de LGPD; evita exposição óbvia de dados sensíveis | não cola processos completos em IA pública, mas não sabe anonimizar adequadamente |
| Colaborativa | está aberto(a) a aprender; participa de capacitações quando convocado(a) | frequenta treinamentos obrigatórios e faz perguntas básicas |
Nível 2: Intermediário 26-50 pontos
Perfil Geral: Usuário(a) autônomo(a) que aplica IA em tarefas rotineiras com segurança e validação adequada.
| Dimensão | Descritor Comportamental | Exemplo Prático no TJRO |
|---|---|---|
| Cognitiva | explica diferenças entre tipos de IA; cita normativas aplicáveis; identifica riscos conhecidos | diferencia IA preditiva de generativa; sabe quando cada uma é apropriada |
| Técnica | usa IA de forma autônoma em tarefas padrão; elabora prompts eficazes sem auxílio | gera minutas de despachos, decisões interlocutórias e petições simples com autonomia |
| Analítica | valida outputs identificando erros óbvios; questiona resultados inconsistentes | identifica quando a IA repete fundamentação inadequada ou cita jurisprudência errada |
| Ética-Jurídica | aplica protocolos de anonimização; mantém supervisão humana em decisões | anonimiza dados antes de usar IA; revisa e fundamenta todas as decisões |
| Colaborativa | compartilha boas práticas com colegas próximos(as); sugere melhorias pontuais | orienta novos(as) servidores(as) sobre uso básico; sugere ajustes em templates |
Nível 3: Avançado 51-75 pontos
Perfil Geral: Usuário(a) proficiente que customiza soluções, identifica problemas complexos e atua como referência técnica em sua área.
| Dimensão | Descritor Comportamental | Exemplo Prático no TJRO |
|---|---|---|
| Cognitiva | compreende arquiteturas de modelos; avalia limitações técnicas; propõe adaptações | entende por que certos tipos de processo geram resultados melhores; sugere ajustes em modelos |
| Técnica | parametriza e customiza ferramentas; elabora prompts complexos para casos não-padrão | cria templates personalizados para tipos específicos de processo; usa técnicas avançadas de prompt |
| Analítica | identifica vieses algorítmicos; detecta alucinações sutis; propõe correções sistêmicas | percebe que IA tem viés em determinado tipo de ação; documenta e reporta ao CGIA |
| Ética-Jurídica | audita conformidade; orienta sobre dilemas éticos complexos; aplica transparência algorítmica | revisa se sistema respeita contraditório; explica decisões de forma transparente |
| Colaborativa | treina equipes; lidera grupos de trabalho; dissemina conhecimento estruturado | ministra capacitações internas; lidera projeto piloto de nova ferramenta |
Nível 4: Expert/Multiplicador 76-100 pontos
Perfil Geral: Referência institucional que desenvolve políticas, lidera transformação digital e representa o TJRO em fóruns especializados.
| Dimensão | Descritor Comportamental | Exemplo Prático no TJRO |
|---|---|---|
| Cognitiva | desenvolve frameworks conceituais; acompanha estado da arte; propõe inovações estratégicas | elabora políticas institucionais; participa de grupos de trabalho do CNJ |
| Técnica | integra sistemas complexos; desenvolve ou supervisiona desenvolvimento de soluções | coordena implementação de nova funcionalidade; faz ponte entre TI e área fim |
| Analítica | conduz auditorias algorítmicas; desenvolve métricas de qualidade; lidera avaliações sistêmicas | avalia impacto da IA em indicadores de produtividade; identifica padrões de erro |
| Ética-Jurídica | formula políticas de governança; representa instituição em questões éticas; audita conformidade geral | elabora atos normativos; orienta em casos de dilemas éticos complexos |
| Colaborativa | publica estudos; ministra palestras externas; lidera comunidades de prática | apresenta trabalhos em congressos; coordena rede de multiplicadores(as) |
A nota final é calculada por uma média ponderada de 5 dimensões, e cada dimensão é composta por diferentes fontes de avaliação.
Fórmula da Nota Final:
NOTA FINAL = (C×0,20)+(T×0,30)+(A×0,25)+(E×0,15)+(Co×0,10)Onde: C=Cognitiva, T=Técnica, A=Analítica, E=Ética-Jurídica, Co=Colaborativa.
Composição da Nota por Dimensão:
| Fonte de Avaliação | Peso |
|---|---|
| Questionário diagnóstico | 30% |
| Evidências práticas | 40% |
| Avaliação 360° | 20% |
| Certificações/capacitações | 10% |
Indicadores por Dimensão:
| Dimensão (Peso) | Indicadores Primários | Métricas de Aferição | Evidências Requeridas |
|---|---|---|---|
| Cognitiva (20%) | Domínio conceitual, conhecimento de normas, compreensão de riscos. | Pontuação em teste, identificação de conceitos, explicação de limitações. | Certificados, respostas ao questionário, participação em treinamentos. |
| Técnica (30%) | Operação de ferramentas, elaboração de prompts, uso de sistemas. | Frequência e adequação do uso, qualidade dos prompts, resolução de tarefas. | Registros de uso, amostras de prompts e outputs, relatórios. |
| Analítica (25%) | Identificação de vieses, validação crítica, interpretação de outputs. | Taxa de detecção de erros, qualidade da revisão, adequação das correções. | Documentos revisados, relatórios de correções, casos de erros. |
| Ética-Jurídica (15%) | Aplicação de diretrizes, respeito à decisão humana, proteção de dados. | Conformidade com LGPD, não delegação indevida, ausência de incidentes. | Ausência de violações, documentação de decisões, protocolos aplicados. |
| Colaborativa (10%) | Mentoria, participação em projetos, contribuição para melhorias. | Número de pessoas orientadas, participação em grupos, sugestões implementadas. | Registros de mentorias, participação em projetos, propostas documentadas. |
Conforme o Art. 9º, os resultados obtidos nesta plataforma são um componente oficial da avaliação de desempenho do TJRO.
A competência em trabalho com IA, medida por este sistema, será integrada ao Programa de Gestão por Competências do TJRO. Os gestores utilizarão os níveis de proficiência e a nota final aqui calculados como um dos insumos para a avaliação de desempenho oficial, de forma manual.
Todos os servidores serão orientados sobre como os critérios são aplicados e terão acesso ao seu progresso e aos materiais de apoio diretamente nesta plataforma.
Periodicidade
- Diagnóstico Inicial: Aplicação única no início do programa.
- Reavaliações: Semestrais, para acompanhamento de evolução.
- Avaliação Integrada: Anual, conforme ciclo do Programa de Gestão por Competências.
Observações Importantes
- Flexibilidade: Os descritores são interpretados considerando as especificidades de cada função.
- Progressão Não-Linear: É possível ser classificado diretamente em níveis superiores.
- Metas: Atingir 100% no Nível Básico em 12 meses e 70% no Nível Intermediário em 24 meses.
O sistema estabelece trilhas de aprendizagem personalizadas para cada categoria funcional, observando os níveis de proficiência diagnosticados e as necessidades específicas de desenvolvimento. Os servidores têm direito a trilhas que considerem suas lacunas de competência identificadas no mapeamento.
Para personalizar a aplicação da IA, os servidores são agrupados em três categorias funcionais.