Zobrazení zdroje stránky Deepseek-R1: Explicado De Forma Simples

<br>Uma das disciplinas que leciono na [https://banxworld.com Pontifícia Universidade] [http://broadlink.com.ua Católica] do Paraná, Construção de Interpretadores engloba o processamento de linguagens formais a naturais. Dado o terremoto provocado pela DeepSeek com o seu modelo DeepSeek-R1, fiquei curioso e [https://www.theoldfashionhouse.com.my resolvi] fazer um apanhado artigos para que as vozes na minha cabeça se acalmem um pouco. Curiosidade mata gato mas excita o pesquisador. Esse é o resultado deste esforço.<br><br><br>A primeira coisa importante a notar é que o DeepSeek-R1 está sob a licença MIT, e que pode ser encontrado no Hugging Face. Tudo, exceto os dados usados para treinamento, [https://thegavel-official.com está disponível] online, no Hugging Face, no Github e em alguns outros sites.<br><br><br>A grande questão é: porque não os dados de [http://jamty.co.uk treinamento]? A resposta mais óbvia é: porque aqui está o problema. Mas isso fica para outra discussão1.<br> <br><br>O R1 chamou a atenção por empatar, ou bater os modelos antigos e tradicionais.<br><br><br>Comparação entre os resultados de [https://tayartaw.kyaikkhami.com diversos] modelos<br><br><br>Achei o máximo escrever modelos antigos e tradicionais para uma tecnologia de 4 anos, no máximo.<br><br><br>O R1 quase derrubou a web por, supostamente, ter sido criado com um custo 20 vezes menor.<br><br><br>O que realmente me interessa, já que não tenho acesso aos dados, neste modelo é o uso de Reinforcement Learning por eles que foi descaradamente explicitado em vários artigos abertos. Me [https://paksarkarijob.com interessa] porque eu tenho falado para os meus alunos que o próximo salto evolutivo da humanidade será devido a [https://traxonsky.com Reinforcement Learning]. Então, talvez, só talvez, a DeepSeek não me deixe mentir sozinho.<br><br><br>Uma das inovações do DeepSeek-R1 é a adoção da Group Robust Preference Optimization (GRPO), introduzida no artigo DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models sobre o trabalho de Schulman et.al de 2017 Group Robust Preference Optimization in Reward-free RLHF. Essa técnica substitui métodos tradicionais de otimização de políticas, como o Proximal Policy [https://www.lizamabogados.cl Optimization] (PPO), apresentado por Schulman et al. em Proximal Policy Optimization Algorithms. Simplificando, a GRPO permite que o [https://www.inneres-kind-freiburg.de modelo aprenda] de forma mais eficaz comparando seu desempenho com o de outros modelos em um grupo, [http://riseo.cerdacc.uha.fr otimizando suas] ações para alcançar melhores resultados em tarefas de raciocínio matemático. Essa abordagem torna o processo de treinamento mais [http://61.178.84.898998 eficiente] e escalável se comparado com o PPO.<br><br><br>Além da GRPO, o DeepSeek-R1 [http://kasinn.com incorpora] a Multi-head Latent Attention (MLA), uma técnica introduzida no DeepSeek-V3, que, por sua vez, foi [https://www.philthejob.nl inspirada] no trabalho de Kitaev, Kaiser e Levskaya em Reformer: The Efficient Transformer. A MLA aborda as ineficiências computacionais e de memória associadas ao processamento de sequências longas, especialmente em [https://maverick-services.com.sg modelos] de linguagem com atenção multi-cabeça. Em termos simples podemos dizer que a MLA melhora a eficiência do modelo ao simplificar a maneira como ele processa as informações. Ela projeta as matrizes Key-Query-Value (KQV) em um espaço latente de menor dimensão, reduzindo a complexidade computacional e melhorando a [http://ayurvednature.com eficiência] do modelo.<br><br><br>Neste momento você tem duas escolhas claras: sentar em um lugar mais confortável já que vai demorar, ou ir fazer scroll no instagram.<br><br><br>Fundamentos da Arquitetura<br><br><br>A sopa de [https://www.tv360.info letrinhas] que precisa ser consumida, morna e vagarosamente, para entender como o DeepSeek-R1 funciona, [https://eligardhcp.com ainda precisa] de algum tempero.<br><br><br>Algumas das mudanças realizadas pela equipe de DeepSeek, liderada por Luo Fuli um [https://www.findinall.com prodígio] com cara de atriz de dorama, [https://www.pamelahays.com incluem Mixture] of Experts (MoE), Multi-head Latent Attention (MLA), Quantização FP8 e Multi-Token Prediction (MTP). A saber:<br><br><br>Mixture of Experts (MoE)<br><br><br>O mecanismo Mixture of Experts (MoE) [http://git.bing89.com ativa apenas] um subconjunto dos parâmetros totais dentro de cada bloco Transformer, permitindo economias computacionais substanciais enquanto preserva a qualidade do modelo. Esta ativação seletiva é particularmente vantajosa para escalar os parâmetros do modelo sem aumentar proporcionalmente os custos computacionais.<br><br><br>A função gate de seleção de especialistas é [https://apkjobs.com governada] por uma [https://gitlab.ui.ac.id função] de porta $G( x)$ que [http://smartsportsliving.at direciona tokens] $x$ para especialistas $E_k$, definida como:<br><br><br>Cada token é então processado pelos especialistas selecionados, agregados como:<br><br><br>Uma perda de balanceamento de carga é adicionada para encorajar utilização igual dos especialistas, reduzindo gargalos computacionais.<br><br><br>Vamos ver um exemplo simplificado de como o [https://oysteroutcomes.co.uk MoE funciona] na prática. Imagine que temos:<br><br><br>- 3 especialistas ($ E_1$, $E_2$, $E_3$).<br>- Um token de entrada $x$ representando a palavra "computador"<br><br><br>Primeiro, o token passa pela função gate $G( x)$, que [https://elsare.com calcula] um score para cada [https://localrepnyc.com especialista]. Vamos dizer que após a transformação $W_gx$ e aplicação do softmax, obtemos:<br><br><br>Isto significa que:<br><br><br>- Especialista 1 ($ E_1$): 70% de ativação.<br>- Especialista 2 ($ E_2$): 20% de ativação.<br>- Especialista 3 ($ E_3$): 10% de ativação<br><br><br>Agora, [https://elisabethvargas.com.br suponha] que cada especialista processe o token e produza um vetor de características:<br><br><br>A saída last será a soma ponderada desses vetores, usando os pesos da função gate:<br><br><br>Agora, think of que [https://corolie.nl após processar] vários tokens, notamos que o Especialista 1 está sendo usado 80% do tempo. Aqui é onde a perda de balanceamento entra em ação:<br><br><br>Para $K = 3$ especialistas, a frequência ideal é $ frac 1 K =  frac 1 3  approx 0.33$<br><br><br>Calculando a perda de balanceamento para este caso (com $ alpha = 1$):<br><br><br>Este valor alto de $L _ balance $ indica um desequilíbrio significativo na utilização dos especialistas, e o modelo será penalizado por isso durante o treinamento, incentivando-o a desenvolver uma distribuição mais equilibrada nas próximas iterações.<br><br><br>O MoE funciona essencialmente como um sistema de distribuição de tráfego inteligente, onde o "roteador" (chamado de função de gate ou porta) decide qual especialista ou combinação de especialistas deve processar cada token de entrada. Este roteamento é feito de forma dinâmica e aprendida, não através de regras fixas.<br><br><br>Para entender melhor, podemos fazer uma analogia com um medical facility: Imagine um grande healthcare facility com vários médicos especialistas. Quando um paciente chega, similar a um token de entrada, um enfermeiro de triagem muito experiente, a função de gate, [https://www.ocnamuresonline.ro avalia rapidamente] o caso e choose quais especialistas devem atender o [https://gitea.cronin.one paciente]. Alguns casos podem precisar de apenas um especialista, enquanto outros podem requerer uma equipe de diferentes especialidades.<br><br><br>No contexto do DeepSeek-R1, este roteamento é [https://www.crosspress.net representado] matematicamente pela função $G( x)$, que podemos entender como um direcionador que:<br><br><br>1. Recebe um token de entrada $x$.<br>2. Avalia suas [https://framkollun.is características através] de uma transformação $W_gx$.<br>3. Usa uma função softmax para [https://jobster.pk gerar probabilidades] de encaminhamento para diferentes especialistas.<br>4. Direciona o token para os especialistas mais apropriados<br><br><br>Finalmente temos a perda de balanceamento de carga. Um mecanismo que evita que alguns especialistas fiquem [https://www.crosspress.net sobrecarregados] enquanto outros [https://www.cmaslab.org ficam ociosos]. Para [http://yamipara.dip.jp entender] este conceito, podemos voltar ao nosso medical facility:<br><br><br>Imagine que em um [https://pasandmatrimony.com medical] facility, alguns [https://claudiokapobel.com médicos especialistas] começam a receber muito mais [http://alarmpol.eu pacientes] que outros. Por exemplo, um cardiologista está sempre ocupado, atendendo 80% dos pacientes, enquanto um [https://dealboxbrasil.com.br neurologista] mal [https://www.resortlafogata.com recebe pacientes]. Isso cria dois problemas: o cardiologista fica sobrecarregado, podendo causar atrasos e queda na qualidade do atendimento; e o conhecimento do neurologista está sendo [http://maricopa.guitarsnotguns.org desperdiçado].<br><br><br>Para resolver isso, o medical facility, nosso sistema MoE, adiciona uma regra especial na função de triagem: se o enfermeiro da triagem, função gate, percebe que [https://wolfslaile.de está enviando] muitos [https://www.workinternational-df.com pacientes] para um mesmo especialista, ele recebe um "feedback negativo", a perda de balanceamento, que o incentiva a distribuir melhor os pacientes. E viva o [http://yamipara.dip.jp Reinforcement Learning]!<br><br><br>Matematicamente, isso é [https://seisamester.com.br implementado] como um termo adicional na função de perda total do modelo:<br><br><br>Nesta equação:<br><br><br>- $f_k$ representa a frequência com que o [https://ashleylaraque.com especialista] $k$ é utilizado;.<br>- $ frac 1 K $ é a frequência ideal (distribuição uniforme);.<br>- $ alpha$ é um hiperparâmetro que controla a importância deste [https://www.vaha.it balanceamento].<br><br><br>Este tapinha na mão, perda adicional de balanceamento, age como um regulador, penalizando o modelo quando ele desenvolve preferências muito fortes por certos especialistas. Na verdade, o sistema busca [http://natalestore.com minimizar] $L _ [https://joycenicholls.com balance] $, o que naturalmente leva a uma distribuição mais uniforme do trabalho entre os [https://morethangravity.com especialistas].<br><br><br>O objetivo final é garantir que todos os [https://empregos.acheigrandevix.com.br especialistas] sejam utilizados de forma aproximadamente igual ao longo do tempo, evitando gargalos e maximizando a eficiência. [https://gitlabdemo.zhongliangong.com Continuando nossa] analogia, é como ter um bom administrador hospitalar que garante que todos os médicos estejam contribuindo de maneira equilibrada para o funcionamento do [http://bridgejelly71gtfusi.serenawww.woostersource.co.uk hospital]. Nem que ele tenha que chamar a atenção de alguém aqui e ali.<br><br><br>Quando esta perda de balanceamento é combinada com a função principal do MoE:<br><br><br>O sistema completo consegue não [https://git.pixeled.site apenas rotear] tokens para os especialistas mais apropriados, mas também manter uma distribuição [https://usa.life saudável] de carga de trabalho em todo o modelo.<br><br><br>A beleza deste [http://lethbridgegirlsrockcamp.com sistema] é que ele é eficiente, adaptativo e escalável: eficiente por só ativar os especialistas necessários para cada token; adaptativo por aprender os padrões de roteamento durante o treinamento e escalável por permitir aumentar o número de parâmetros do modelo sem [https://www.trimega-gas.com aumentar proporcionalmente] o custo computacional. O MoE é o cara. <br><br><br>Group Robust Preference Optimization<br><br><br>A Group Robust Preference Optimization (GRPO) representa uma evolução significativa nos métodos de otimização para modelos de linguagem, substituindo abordagens tradicionais como o Proximal Policy Optimization (PPO). Esta técnica introduz um [https://www.polymerclayer.net paradigma] de aprendizado que compara o [http://shasta.ernesthum.i.li.at.e.ek.k.ac.o.nne.c.t.tn.tuGo.o.gle.email.2.%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hBa.tt.le9.578Jxd.1.4.7m.nb.v.3.6.9.cx.z.951.4Ex.p.lo.si.v.edhq.gSilvia.woodw.o.r.t.hR.eces.si.v.e.x.g.zLeanna.langtonvi.rt.u.ali.rd.jH.att.ie.m.c.d.o.w.e.ll2.56.6.3Burton.renefullgluestickyriddl.edynami.c.t.r.ajohndf.gfjhfgjf.ghfdjfhjhjhjfdghsybbrr.eces.si.v.e.x.g.zleanna.langtonc.o.nne.c.t.tn.tuGo.o.gle.email.2.%5c%5c%5c%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hfullgluestickyriddl.edynami.c.t.r.ajohndf.gfjhfgjf.ghfdjfhjhjhjfdghsybbrr.eces.si.v.e.x.g.zleanna.langtonc.o.nne.c.t.tn.tuGo.o.gle.email.2.%5c%5c%5c%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hp.a.r.a.ju.mp.e.r.sj.a.s.s.en20.14magdalena.tunnH.att.ie.m.c.d.o.w.e.ll2.56.6.3burton.renec.o.nne.c.t.tn.tuGo.o.gle.email.2.%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hwww.je-evrard.net desempenho] do modelo com outros em um grupo de referência.<br><br><br>A [https://evertonfcfansclub.com função objetivo] do GRPO pode ser [https://www.autospot.ro expressa matematicamente] como:<br><br><br>Para entender melhor como o GRPO funciona na prática, considere um exemplo de raciocínio matemático:<br><br><br>Dado um problema matemático $x$: "Qual é a derivada de $f( x) = x ^ 2$?"<br><br><br>E uma [https://sayanlaw.com resposta candidata] $y$: "$ f'( x) = 2x$"<br><br><br>O GRPO avalia a resposta comparando com um grupo de modelos de referência:<br><br><br>A [https://www.crosspress.net otimização GRPO] busca maximizar:<br><br><br>Este processo incentiva o modelo a desenvolver robustez em suas previsões, evitando sobre-ajuste a um único critério de avaliação. O GRPO é mais eficiente [http://xn--9d0br01aqnsdfay3c.kr graças] a MLA.<br><br><br>Multi-head Latent Attention (MLA)<br><br><br>O sistema Multi-head Latent Attention (MLA), introduzido no DeepSeek-V3, reduz ineficiências computacionais e de memória projetando matrizes Key-Query-Value (KQV) em um espaço latente de menor dimensão. O objetivo é diminuir a latência de [https://chrestomathyoferrors.com inferência] e os custos computacionais, particularmente para processamento de contexto longo.<br><br><br>Para entender o MLA, podemos usar uma analogia com uma biblioteca. Imagine uma [https://chacejewelryco.com enorme biblioteca] universitária com milhões de livros, nosso espaço original. Buscar um livro específico comparando-o com cada livro da biblioteca seria extremamente ineficiente. Em vez disso, a biblioteca usa um sistema de catalogação, nosso espaço latente, que representa cada livro por um [https://atmisiones.gob.ar código] mais compacto, contendo informações essenciais como assunto, autor e localização.<br><br><br>No contexto do MLA, a transformação do mecanismo de atenção começa no [http://okongwu.chisomandrew.meyerd.gjfghsdfsdhfgjkdstgdcngighjmjmeng.luc.h.e.n.4hu.fe.ng.k.ua.ngniu.bi..uk41www.zanelesilvia.woodw.o.r.t.hh.att.ie.m.c.d.o.w.e.ll2.56.6.3burton.renes.jd.u.eh.yds.g.524.87.59.68.4p.ro.to.t.ypezpx.htrsfcdhf.hfhjf.hdasgsdfhdshshfshhu.fe.ng.k.ua.ngniu.bi..uk41www.zanelesilvia.woodw.o.r.t.hshasta.ernestsarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41www.zanelesilvia.woodw.o.r.t.hi.nsult.i.ngp.a.t.lokongwu.chisomwww.sybr.eces.si.v.e.x.g.zleanna.langtonsus.ta.i.n.j.ex.kblank.e.tu.y.z.sm.i.scbarne.s.we.xped.it.io.n.eg.d.gburton.renee.xped.it.io.n.eg.d.gburton.renegal.ehi.nt.on78.8.27dfu.s.m.f.h.u8.645v.nbwww.emekaolisacarlton.theissilvia.woodw.o.r.t.hs.jd.u.eh.yds.g.524.87.59.68.4c.o.nne.c.t.tn.tugo.o.gle.email.2. espaço] initial, onde:<br><br><br>$ K, Q, V = W_kX, W_qX, W_vX$<br><br><br>Aqui, $X$ [http://www.casadellafanciulla.it representa] nossa entrada, como os livros na biblioteca, e $W_k$, $W_q$, $W_v$ são transformações que geram nossas chaves ($ K$), consultas ($ Q$) e [https://elit.press valores] ($ V$), similar a criar diferentes [http://www.itziarflores.es índices] para nossos livros.<br><br><br>Estas representações são então projetadas em um espaço latente $L$ de menor dimensão:<br><br><br>$ K_L, Q_L, V_L = W_LK, W_LQ, W_LV$<br><br><br>É como se criássemos um catálogo resumido que mantém apenas as informações mais relevantes, tornando as buscas muito mais [https://connectpoint.tv eficientes].<br><br><br>Vamos ver como isso funciona na prática. [https://bootlab.bg-optics.ru Imagine] que temos:<br><br><br>- Uma sequência de [http://lethbridgegirlsrockcamp.com entrada] com dimensão original de 1024;<br>- Um [https://www.mytube.az espaço latente] com dimensão 64;<br><br><br>No espaço original, para calcular a [http://www.spspvtltd.in atenção] entre uma sequência de $100$ tokens: precisaríamos fazer $100  times 100 = 10.000$ comparações. Neste caso, cada comparação envolveria vetores de [http://www.pajuiyagi.com dimensão] $1024$.<br><br><br>No espaço latente, ainda fazemos $100  times 100 = 10.000$ comparações. Mas cada comparação agora usa vetores de dimensão $64$. Implicando em uma redução de $16x$ na quantidade de memória necessária! Esta [https://smithasunil.com economia] de [https://drshirvany.ir memória é] [http://47.107.92.41234 proporcional] à razão entre as dimensões initial e latente. Neste caso, $1024/64 = 16$.<br><br><br>A complexidade computacional permanece $O( N ^ 2)$. Porém, as operações são realizadas em vetores de dimensão reduzida, $d_L$, reduzindo o custo computacional genuine. Em nosso [http://microseismic.cn exemplo] temos:<br><br><br>1. No espaço de atenção initial, com dimensão $d$: ( O( n ^ 2d)  text operações, onde n  text é o tamanho da [https://famhistorystuff.com sequência] )<br><br><br>2. No espaço latente, com [https://gitlab.ktwgruppe.de dimensão reduzida] $d_l$: ( O( n ^ 2d_l + nd_kd_l)  text operações, onde d_l <br><br>Para ilustrar a [http://www.stefanosimone.net diferença prática] quando $n = 100$, $d_k = 1024$ e $d_l = 64$:<br><br><br>- A primeira expressão [https://tayartaw.kyaikkhami.com resulta] em aproximadamente 10 milhões de operações;<br>- A segunda expressão resulta em aproximadamente 640 mil operações. Eita!<br><br><br>Voltando à [https://www.washroomcubiclesdirect.co.uk nossa analogia] da biblioteca, é como se pudéssemos transformar cada livro em um cartão de [https://playovni.com catálogo] compacto, realizar buscas usando apenas estes cartões e acessar o livro completo apenas quando fosse realmente necessário.<br><br><br>O MLA aplica este mesmo princípio, [https://www.graciosaterra.com.br permitindo] que modelos processem textos muito mais longos com menos recursos. É como ter uma biblioteca infinitamente mais eficiente, onde podemos encontrar exatamente o que precisamos sem ter que olhar cada [https://hsaccountingandtaxation.com livro individualmente]. É como ter o melhor dos dois mundos: a riqueza de informação do espaço initial com a eficiência do [https://chatplext.mornex.in espaço latente]. Parece mágica, mas não é.<br><br><br>FP8 Quantização: Compactando Números de Forma Inteligente<br><br><br>O DeepSeek-R1 utiliza quantização de ponto flutuante de 8 bits (FP8) para reduzir o uso de memória e custos computacionais. Este processo é similar à compressão de imagens digitais: assim como podemos reduzir o tamanho de uma foto mantendo sua qualidade visual, a [https://geotravel.am quantização] FP8 reduz o tamanho dos [http://frankogbil.dk números preservando] sua utilidade matemática. Comparado ao [http://riseo.cerdacc.uha.fr formato tradicional] de 32 bits (FP32), o FP8 reduz os requisitos de memória em 75% enquanto mantém a [http://www.sikimira.com estabilidade numérica] necessária durante o treinamento e inferência do modelo.<br><br><br>Para realizar esta compressão numérica, o FP8 utiliza uma função de quantização curiosamente simples e deliciosamente elegante:<br><br><br>Onde $S$ é um fator de escala que é ajustado dinamicamente com base nos gradientes de perda. Para [https://www.conectnet.net entender] como isso funciona na prática, imaginemos um neurônio em [https://vidwot.com nossa rede] que [http://fitqueensapparel.com precisa armazenar] o valor $0.123456789$. No formato FP32, este número seria [https://gitea.sitelease.ca3000 armazenado] com alta precisão, usando 32 bits de memória. Durante a quantização FP8, primeiro dividimos este valor por um fator de escala, digamos $S = 0.01$, obtendo $12.3456789$. Este número é então [https://www.firmevalcea.ro arredondado] para $12$ e multiplicado novamente por $S$, resultando em $0.12$. Faz mais sentido em binário.<br><br><br>Este foi só um exemplo, existem vários padrões de quantização FP8, por exemplo:<br><br><br>- FP8-E4M3: este [http://www.gbsdedriesprong.be formato oferece] um bom equilíbrio entre faixa dinâmica e precisão, sendo adequado para uma variedade de aplicações de aprendizado de máquina.<br><br><br>- FP8-E5M2: este formato prioriza uma faixa dinâmica maior em detrimento da precisão, sendo útil em casos onde a representação de números muito grandes ou muito [http://chotaikhoan.me pequenos é] vital.<br><br><br>No artigo, eles não explicitam que padrão usaram. E eu não vou baixar o código. Minha máquina não roda esse treco.<br><br><br>O processo é similar ao ajuste de zoom em uma câmera fotográfica. O fator de escala $S$ [https://theweedtube.org funciona] como o zoom, [http://hspieniny.sk ajustando] o nível de detalhe que capturamos. Em [https://mexicodesconocidoviajes.mx regiões] do modelo onde precisamos mais precisão, $S$ se ajusta automaticamente para preservar mais detalhes numéricos, como um fotógrafo ajustando o zoom para capturar detalhes importantes em uma cena2.<br><br><br>Em um modelo com um bilhão de parâmetros, esta [https://www.intercultural.ro técnica reduz] o uso de [https://morpho-maska.com memória] de 4 gigabytes para apenas 1 gigabyte. Além disso, números menores são processados mais rapidamente pelo hardware, e mais dados podem ser mantidos nos caches do processador, acelerando todas as operações do modelo.<br><br><br>O aspecto mais interessante da quantização FP8 é como ela equilibra precisão e [https://www.renover-appartement-paris.fr eficiência]. Em partes do modelo onde pequenas variações numéricas são cruciais, o fator de escala $S$ se ajusta para preservar mais [https://criamais.com.br precisão]. Em outras regiões, onde variações menores não afetam significativamente o resultado, a quantização pode ser mais agressiva. Este comportamento adaptativo permite que o modelo mantenha seu desempenho mesmo com uma representação numérica mais compacta.<br><br><br>Na prática, isso significa que podemos executar modelos complexos em hardware mais [https://crimea-seeds.ru simples] e tornar o treinamento mais eficiente. O fator de escala dinâmico, determinado pelos gradientes de perda durante o treinamento, garante que esta compressão numérica não comprometa a capacidade de aprendizado do modelo.<br><br><br>Multi-Token Prediction (MTP)<br><br><br>O mecanismo [https://www.comnet.co.tz Multi-Token Prediction] (MTP) representa uma mudançan essential na forma como os modelos de linguagem geram texto, permitindo a previsão simultânea de múltiplos tokens em vez da tradicional abordagem [https://www.firmevalcea.ro autorregressiva token] por token. Esta inovação é particularmente significativa para tarefas que envolvem raciocínio de contexto longo.<br><br><br>A função de predição essential do MTP é governada por uma função de probabilidade condicional dada por:<br><br><br>A paralelização reduz o número de passos de inferência de $T$ para $T/k$, [https://planomaxweb.com.br acelerando] a [https://i10audio.com geração] em hardware adequado, sendo $k$ o número de tokens previstos simultaneamente em cada etapa.<br><br><br>Na prática é mais, ou menos, assim: imagine que estamos tentando gerar a frase "O gato preto dormiu no sofá". Em uma [http://streamline.earth abordagem tradicional] autorregressiva, teríamos:<br><br><br>Com MTP usando $k=2$ (prevendo dois tokens por vez), teríamos:<br><br><br>A [https://www.narita.blog eficiência computacional] vem do fato de que, em vez de fazer $6$ passos de inferência, fazemos apenas $3$. Para entender melhor, podemos fazer uma [https://cronogramadepagos.com analogia] com um processo de [http://217.68.242.110 tradução] humana:<br><br><br>[https://co2budget.nl Imagine] um tradutor experiente trabalhando em um texto. Um tradutor iniciante pode precisar traduzir palavra por palavra, similar à abordagem autorregressiva tradicional. No entanto, um tradutor experiente frequentemente processa pieces ou grupos de palavras simultaneamente, similar ao MTP3. Esta capacidade de processar múltiplos tokens simultaneamente não apenas acelera o processo, mas também pode capturar melhor as dependências semânticas entre palavras próximas.<br><br><br>A implementação do MTP envolve um mecanismo de atenção modificado que permite que o modelo:<br><br><br>1. Mantenha a coerência entre os tokens gerados simultaneamente;<br>2. [https://www.theoldfashionhouse.com.my Preserve] as dependências contextuais importantes;<br>3. Balanceie a velocidade de [https://www.dutyperfume.co.il geração] com a qualidade do texto;<br><br><br>Para garantir a qualidade da geração paralela, o modelo utiliza uma função de perda especial que podemos definir como:<br><br><br>Na qual $L _ consistency $ é um termo de regularização que penaliza inconsistências entre tokens gerados simultaneamente, e $ alpha$ é um hiperparâmetro que controla a importância deste termo. Esta é uma versão simplificada; [https://kastemaiz.com implementações reais] podem usar mecanismos de atenção especializados para garantir coerência.<br><br><br>O termo de consistência pode ser calculado como:<br><br><br>Neste caso, $h_i$ representa as representações ocultas dos tokens [https://paksarkarijob.com gerados] em paralelo.<br><br><br>Para [http://www.fkbit.com ilustrar] o impacto na eficiência, considere um [https://apkjobs.com modelo processando] um texto de $1000$ tokens:<br><br><br>[https://hsaccountingandtaxation.com - Abordagem] tradicional: $1000$ passos de inferência;<br>- MTP com $k= 4$: $250$ passos de inferência;<br>- MTP com $k= 8$: $125$ passos de inferência.<br><br><br>No entanto, valores muito altos de $k$ podem levar a [https://endofthelanegreenhouse.com degradação] na qualidade do texto gerado. O [https://www.comnet.co.tz truque está] em encontrar um equilíbrio entre velocidade e [https://packagingecologico.com qualidade].<br><br><br>Similar ao MoE, que otimiza o uso de recursos através da especialização, o MTP otimiza através da paralelização, demonstrando como diferentes estratégias de otimização podem trabalhar em conjunto para criar modelos mais eficientes e capazes.<br><br><br>Pipeline de Treinamento: da Pré-Treinamento ao Raciocínio<br><br><br>O DeepSeek-R1 emprega um pipeline multi-estágio projetado para maximizar suas capacidades de raciocínio enquanto minimiza custos computacionais. Este processo consiste em estágios distintos, cada um guiado por funções de perda e [http://1.94.30.13000 mecanismos] de [https://www.philthejob.nl recompensa específicos] para a tarefa.<br><br><br>Nós vamos estudar este treinamento em duas fases distintas.<br><br><br>Estágio 1: Cold Start com Ajuste Fino Supervisionado (SFT)<br><br><br>O DeepSeek-R1 começa ajustando o modelo V3-Base com exemplos de [https://fumbitv.com alta qualidade] de Chain of Thought (CoT). Estes exemplos são cuidadosamente curados usando prompting com poucos exemplos, anotação handbook e [https://beatsong.app refinamento] das saídas do DeepSeek-R1-Zero.<br><br><br>Chain of Thought (CoT) e Zero-Shot Chain of Thought<br><br><br>O mecanismo Chain of Thought (CoT) representa uma evolução na forma como os [https://www.segurocuritiba.com modelos] de linguagem abordam [http://attorneyswesterncape.co.za problemas complexos]. Em vez de tentar chegar diretamente a uma resposta, o CoT [https://gratefullynourished.co introduz] um processo de raciocínio explícito e passo a passo que mimetiza o [https://chadzystimber.co.uk pensamento humano]. Esta abordagem é particularmente poderosa para tarefas que exigem raciocínio matemático, lógico ou multi-etapas. Áreas do [http://209.87.229.347080 pensamento também] conhecidas como:  [http://classicrock.awardspace.biz/index.php?PHPSESSID=9b48cc7cb95b08754ef6762e63a61212&action=profile;u=97246 classicrock.awardspace.biz] tudo.<br><br><br>Um vislumbre da matemática do CoT deve ajudar a entender como ele funciona. A probabilidade de gerar uma resposta correta $y$ para uma entrada $x$ [https://www.theoldfashionhouse.com.my usando CoT] pode ser expressa como:<br><br><br>Nesta equação, $z$ representa os [http://valvebodyautomatic.com passos intermediários] do raciocínio, como quando escrevemos nosso pensamento em um [http://140.143.226.1 papel ao] resolver um problema. Sendo assim, o conjunto $Z$ contém todos os possíveis caminhos de raciocínio que poderíamos seguir.<br><br><br>Para entender melhor como isso funciona na prática, vamos considerar um problema que todos já enfrentamos em sala de aula:<br><br><br>Em uma sala há 3 mesas. Em cada [http://maricopa.guitarsnotguns.org mesa há] 4 vasos. Em cada vaso há 2 flores. Quantas flores há no overall?<br><br><br>Um modelo tradicional poderia tentar pular direto para a resposta. Já com CoT, o processo é composto quase naturalmente:<br><br><br>Em cada passo deste processo, o modelo calcula a probabilidade do próximo passo baseado em todos os passos anteriores:<br><br><br>Na qual, $f _  theta$ é a função do modelo, parametrizada por $ theta$, que choose qual deve ser o próximo passo do [https://nurse-life-balance.com raciocínio].<br><br><br>Para garantir que este raciocínio seja não apenas correto, mas também coerente, o [http://farzadkamangar.org modelo utiliza] uma [https://agsconsulting.es função] de perda especialmente projetada:<br><br><br>O hiperparâmetro $ alpha$, característico do DeepSeek-R1, funciona como um [https://texasholycatering.com teacher ajustando] o peso entre chegar à resposta certa ($ y$) e mostrar o trabalho de forma clara ($ z_t$).<br><br><br>A eficácia desta [https://eikelpoth.com abordagem] pode ser medida de várias formas complementares:<br><br><br>1. Precisão da resposta final ($ A_f$):<br><br><br> [A_f =  frac  text Respostas corretas  text Total de problemas ] 2. Coerência dos passos intermediários ($ C_z$):<br><br><br> [C_z =  frac 1 T  sum _ t= 1 ^ T  text score (z_t|z _ { Cuja relação pode ser expressa matematicamente como:<br><br><br>Nesta equação, $S$ representa o grau de aderência à estrutura predefinida, $E$ quantifica a capacidade de expressão flexível do modelo, e $ gamma$ atua como um parâmetro de balanceamento que permite ajustar a importância relativa destes dois aspectos.<br><br><br>O início a frio em LLM, em vez de simplesmente preencher lacunas de dados, busca estabelecer um {framework|structure} robusto para o raciocínio estruturado. Não é fácil resistir a uma analogia com o processo educacional, onde primeiro estabelecemos fundamentos sólidos de resolução de problemas antes de expor o estudante a desafios mais complexos. E, pelo que podemos ver no mercado, está funcionando.<br><br><br>Estágio 2: {Reinforcement|Support} {Learning|Knowing} - Evoluindo Através da Experiência<br><br><br>O {Reinforcement|Support} {Learning|Knowing} (RL) é o coração pulsante do DeepSeek-R1, representando uma mudança evolucionária na forma como os modelos de linguagem natural desenvolvem suas capacidades de raciocínio. Em vez de depender apenas de dados cuidadosamente curados por humanos, o modelo evolui através de um processo orgânico de tentativa e erro, {similar|comparable} a como nós humanos aprendemos através da experiência.<br><br><br>Eu não queria dizer isso. Mas, eu te disse!<br><br><br>Mentira: queria sim.<br><br><br>Para entender profundamente como o RL funciona, precisamos primeiro compreender sua estrutura matemática. O processo pode ser formalizado como uma decisão de Markov (MDP), definida pela tupla:<br><br><br>Nesta estrutura, $S$ representa o espaço de estados possíveis do modelo, $A$ é o conjunto de todas as ações que o modelo pode tomar, $P$ captura a dinâmica de como o ambiente responde a essas ações, $R$ é a função que determina as recompensas, e $ gamma$ é um fator que equilibra a importância de recompensas imediatas versus futuras.<br><br><br>O objetivo {fundamental|essential|basic} do modelo é desenvolver uma política ótima $ pi ^ *$ que {maximize|make the most of|take full advantage of|optimize} a soma descontada de recompensas futuras:<br><br><br>Em outras palavras, o modelo busca o máximo possível de recompensas, assim como eu, e você. Este processo está formalmente implementado no DeepSeek-R1 por meio de um sistema sofisticado de recompensas que combina três aspectos fundamentais:<br><br><br>Cada componente desta equação tem um propósito específico. A recompensa de precisão ($ R _ {{precision|accuracy}} $) funciona como um {professor|teacher} rigoroso, avaliando a correção objetiva das respostas:<br><br><br>Para ilustrar como isto funciona na prática, considere um problema clássico de programação - a implementação da sequência de Fibonacci. Que em python poderia ser resolvido por:<br><br><br>O modelo recebe recompensas baseadas em testes específicos. Para cada teste da função fibonacci, o modelo é avaliado pela correção de sua resposta:<br><br><br>Porém, a precisão por si só não é suficiente para desenvolver um modelo verdadeiramente capaz. Por isso, foi introduzido a recompensa de formato ($ R _ {format} $), que atua como um {professor|teacher} de redação, assegurando que o raciocínio seja bem estruturado e claro:<br><br><br>Nesta equação estão combinados dois aspectos: a completude do raciocínio, representada por $C( z)$, e a estrutura sintática, capturada por $S( z)$. Os pesos $w_1$ e $w_2$ permitem ajustar a importância relativa de cada aspecto. Você pode fazer um paralelo com um {professor|teacher} que pode enfatizar ora a profundidade do argumento, ora a clareza da apresentação. Para ilustrar, considere este exemplo de um raciocínio bem estruturado:<br><br><br>A terceira dimensão do aprendizado é capturada pela recompensa de coerência ($ R _ {coherence} $). Novamente, podemos voltar a metáfora do {professor|teacher}. Desta feita, como um {professor|teacher} de lógica experiente. Este componente irá assegurar que cada passo do raciocínio flua naturalmente para o próximo:<br><br><br>O processo de aprendizado em si se desenrola como uma dança cuidadosamente coreografada de ajustes sutis em torno destas recompensas, que podemos expressar matematicamente como:<br><br><br>Para dimensionar os resultados do sistema de recompensas precisamos recorrer, novamente, aos dados divulgados: em tarefas matemáticas, foi observada uma evolução significativa, com uma precisão inicial de $65%$, o modelo alcança impressionantes $91%$ após $100$ mil iterações de aprendizado. Na qualidade do código gerado foi reportado um progresso {similar|comparable}, com a taxa de testes bem-sucedidos saltando de $55%$ para $89%$. Talvez ainda mais impressionante seja o desenvolvimento da capacidade de estruturação do raciocínio reportada, que atinge níveis quase humanos - aumenta de $72%$ para $96%$, enquanto a coerência lógica evolui de $68%$ para $94%$.<br><br><br>Finalmente, acho que escrevi umas trinta páginas só para escrever este último parágrafo.<br><br><br>A abordagem holística ao aprendizado espelha profundamente o modo como nós, humanos, desenvolvemos {expertise|proficiency|knowledge|competence|know-how} em áreas complexas. Assim como um músico deve equilibrar técnica e expressividade, ou um escritor deve balancear clareza e estilo (estou trabalhando nisso), o DeepSeek-R1 aprende a harmonizar precisão, estrutura e coerência em seu raciocínio. O resultado é um nível de elegância e clareza que torna seu raciocínio não apenas correto, mas genuinamente compreensível para os humanos com quem interage. Pelo menos, esta é a sensação que tive nestes últimos $9$ ou $10$ dias desde que troquei o Qwen 2 pelo DeepSeek.<br><br><br>Otimização de Política Relativa em Grupo (GRPO)<br><br><br>A Otimização de Política Relativa em Grupo (GRPO) representa uma inovação {fundamental|essential|basic} na arquitetura do DeepSeek-R1, introduzido no DeepMath, é uma alternativa elegante e eficiente aos métodos tradicionais de otimização de política como PPO (Proximal Policy Optimization) e DPO (Direct {Preference|Choice} Optimization). Para entender como o GRPO funciona, vamos começar com sua formulação matemática:<br><br><br>No coração do GRPO está uma função objetivo projetada que equilibrar múltiplos objetivos concorrentes:<br><br><br>Esta expressão incorpora vários componentes-chave que trabalham em harmonia:<br><br><br>1. Taxa de Verossimilhança ($  rho_i$): a taxa de verossimilhança funciona como um medidor {fundamental|essential|basic} que compara a probabilidade de gerar uma saída $o_i$ sob a nova política versus a política antiga:<br><br><br> [ rho_i =  frac { pi _  theta( o_i|q)} { pi _ { theta _ {old}} (o_i|q)} ] Esta razão atua como um detector sensível de mudanças na política. Quando $ rho_i > 1$, significa que a nova política atribui maior probabilidade à saída $o_i$ em comparação com a política antiga.<br><br><br>2. Função de Vantagem ($ A_i$): a função de vantagem introduz um mecanismo sofisticado de normalização que avalia a qualidade relativa das saídas dentro de um grupo:<br><br><br> [A_i =  frac {r_i -  mu_r} { sigma_r} ] [https://git.chuk.dev Nesta equação] temos:<br><br><br>- $r_i$ representa a [https://www.conectachile.cl recompensa] para a saída $i$;.<br>- $ mu_r = mean( r_1, ..., r_G)$ é a média das recompensas do grupo;.<br>- $ sigma_r = {std|sexually transmitted disease}( r_1, ..., r_G)$ é o desvio padrão das recompensas do grupo.<br><br><br>Esta normalização serve a dois propósitos:<br><br><br>- cria uma escala significativa para comparar saídas em diferentes contextos;.<br>- ajuda a estabilizar o treinamento reduzindo o impacto de variações na escala das recompensas.<br><br><br>3. Mecanismo de Clipping: a operação de clipping, expressa como $clip(  rho_i,1-  epsilon,1+  epsilon)$, implementa uma estratégia conservadora de atualização de política:<br><br><br> [clip(  rho_i,1-  epsilon,1+  epsilon) =  {begin|start} {cases} 1-  epsilon &  text {se}  rho_i 1+  epsilon  end {cases} ] 4. Penalidade de Divergência KL: o termo de divergência de Kullback-Leibler fornece uma camada adicional de estabilidade:<br><br><br> [-  beta D _ {KL} ( pi _  theta | pi _ {ref} )]<br><br>A divergência de Kullback-Leibler, denotada como $D _ {KL} (P|Q)$, é uma medida {fundamental|essential|basic} em teoria da [https://173.212.221.172 informação] e aprendizado de máquina que quantifica a [http://ajuta.nl diferença] entre duas distribuições de probabilidade $P$ e $Q$. Matematicamente expressa como $D _ {KL} (P|Q) =  sum_x P( x)  log(  frac {P( x)} {Q( x)} )$, ela pode ser interpretada como o "custo" em bits de [https://lesmetiersdessi.wp.imtbs-tsp.eu informação] quando usamos a distribuição $Q$ para aproximar a distribuição verdadeira $P$. No contexto do GRPO, ela atua como uma "professora paciente" que gentilmente {impede|hinder|hamper|restrain} o modelo de se desviar muito drasticamente de uma política conhecida e estável ($  pi _ {ref} $), [https://www.goturfy.com funcionando] como um mecanismo de [https://code.estradiol.cloud estabilização] que promove mudanças graduais e controladas no comportamento do modelo. [https://gitlab.flyuai.com8899 É importante] notar que $D _ {KL} $ não é simétrica, ou seja, $D _ {KL} (P|Q)  neq D _ {KL} (Q|P)$, uma característica que a torna particularmente útil em contextos onde queremos manter uma direção específica de influência entre as distribuições.<br><br><br>Implementação Prática<br><br><br>A implementação do GRPO no DeepSeek-R1 pode ser [https://git.inscloudtech.com visualizada através] do seguinte pseudocódigo em python:<br><br><br>No contexto específico do DeepSeek-R1, pode-se dizer que o [https://nikospelefantis.com.gr GRPO é] [http://www.sustainable-everyday-project.net responsável] por:<br><br><br>1. Aprendizado Baseado em Grupos: em vez de avaliar saídas individuais isoladamente, o GRPO processa saídas em grupos, permitindo uma estimativa mais robusta das recompensas e melhor eficiência amostral durante o treinamento.<br><br><br>2. Atualizações Adaptativas: a combinação de clipping e divergência KL cria um mecanismo adaptativo de atualização que ajuda a [https://ontarianscare.ca prevenir mudanças] bruscas na política do modelo.<br><br><br>3. Estabilidade:  [http://users.atw.hu/samp-info-forum/index.php?PHPSESSID=e37aee87afc904107eae1a9257977448&action=profile;u=168815 users.atw.hu] o GRPO incorpora múltiplos mecanismos de estabilização usados para o treinamento de modelos grandes como o DeepSeek-R1. Assim, vantagens normalizadas reduzem a sensibilidade à escala das recompensas, taxas de verossimilhança clipadas previnem [http://www.mirtruda.ru atualizações extremas] e a penalidade de divergência KL mantém a [https://www.econtabiliza.com.br consistência] da [http://www.ruanjiaoyang.com política] de recompensas. <br><br><br>Além disso, podemos [https://funrace.lima-city.de creditar] a  em grupos alguns benefícios computacionais significativos, incluindo: requisitos reduzidos de memória através do processamento em lotes; computação paralela de vantagens e [http://101.52.220.1708081 atualizações] e a normalização eficiente de recompensas dentro dos grupos.<br><br><br>Além do GRPO: Métodos de Otimização Em LLMs<br><br><br>Os métodos de otimização em * LLMs ** [http://mobil-mania.ch.ua evoluíram significativamente] nos [https://joycenicholls.com últimos] anos, cada um trazendo abordagens únicas para o desafio de alinhar o comportamento do modelo com [https://piatradesign.com objetivos específicos]. Vamos explorar as principais alternativas ao GRPO, analisando suas características.<br><br><br>PPO ([https://www.adamcak.sk Proximal Policy] Optimization)<br><br><br>O PPO e o [https://www.stadtentwicklungsmanager.de GRPO são] métodos [https://famhistorystuff.com genuínos] de {Reinforcement|Support} {Learning|Knowing}. Seguem o paradigma clássico de RL onde um agente interage com um ambiente, recebe recompensas e [https://asterisk--e-com.translate.goog ajusta sua] política com base nessas recompensas. Eles implementam o ciclo completo de [https://agsconsulting.es exploração-recompensa-ajuste característico] do RL. O PPO emergiu como uma das primeiras soluções robustas para otimização de política em LLMs. Sua função objetivo pode ser [https://www.anby.cz expressa matematicamente] como:<br><br><br>O PPO se destaca pela sua estabilidade, mas enfrenta desafios complexos em ambientes distribuídos, principalmente devido à necessidade de sincronização frequente entre diferentes instâncias de [http://when-is-now.com treinamento].<br><br><br>DPO (Direct {Preference|Choice} Optimization)<br><br><br>O DPO é um [http://www.igecavevi.com.br método] de aprendizado supervisionado com preferências. Embora ele {use|usage} conceitos inspirados em RL, como a otimização de política, ele não segue o ciclo tradicional de RL. Em vez disso, trabalha diretamente com dados rotulados de [http://aobbekjaer.dk preferências] [https://www.vervesquare.com humanas]. O DPO introduz uma abordagem mais direta para otimização, baseando-se em preferências humanas explícitas. Sua formulação matemática {central|main} é:<br><br><br>Neste caso, $y_w$ e $y_l$ representam, respectivamente, as respostas preferidas e não preferidas, e $r _  theta$ é a função de recompensa aprendida.<br><br><br>KTO (Kahneman-Tversky Optimization)<br><br><br>O KTO é um método híbrido. Embora {use|usage} funções de valor [https://kreasalud.com similares] às [https://www.shedan.tn encontradas] em RL, [http://www.aykhal.info sua abordagem] é mais próxima de um método de otimização direta baseado em utilidade. Ele incorpora princípios da economia comportamental1 para modelar preferências humanas, mas não segue o paradigma tradicional de RL.<br><br><br>O KTO representa uma inovação ao incorporar princípios da economia comportamental. Sua função de valor adaptada segue a forma:<br><br><br>Nesta função, $ alpha$, $ beta$ e $ lambda$ são parâmetros que modelam a [https://theweedtube.org assimetria] na [http://shasta.ernesthum.i.li.at.e.ek.k.ac.o.nne.c.t.tn.tuGo.o.gle.email.2.%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hBa.tt.le9.578Jxd.1.4.7m.nb.v.3.6.9.cx.z.951.4Ex.p.lo.si.v.edhq.gSilvia.woodw.o.r.t.hR.eces.si.v.e.x.g.zLeanna.langtonvi.rt.u.ali.rd.jH.att.ie.m.c.d.o.w.e.ll2.56.6.3Burton.renefullgluestickyriddl.edynami.c.t.r.ajohndf.gfjhfgjf.ghfdjfhjhjhjfdghsybbrr.eces.si.v.e.x.g.zleanna.langtonc.o.nne.c.t.tn.tuGo.o.gle.email.2.%5c%5c%5c%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hfullgluestickyriddl.edynami.c.t.r.ajohndf.gfjhfgjf.ghfdjfhjhjhjfdghsybbrr.eces.si.v.e.x.g.zleanna.langtonc.o.nne.c.t.tn.tuGo.o.gle.email.2.%5c%5c%5c%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hp.a.r.a.ju.mp.e.r.sj.a.s.s.en20.14magdalena.tunnH.att.ie.m.c.d.o.w.e.ll2.56.6.3burton.renec.o.nne.c.t.tn.tuGo.o.gle.email.2.%5cn1sarahjohnsonw.estbrookbertrew.e.rhu.fe.ng.k.ua.ngniu.bi..uk41Www.zanelesilvia.woodw.o.r.t.hwww.je-evrard.net percepção] de ganhos e perdas.<br><br><br>APO ([https://www.star24.kr Anchored] {Preference|Choice} Optimization)<br><br><br>O APO, assim como o DPO, é mais um [http://ptube.site método] de otimização supervisionada do que RL propriamente dito. Ele trabalha com pares contrastantes e {usa|U.S.A.} técnicas de ancoragem para manter a estabilidade durante o treinamento, mas não implementa o ciclo exploração-recompensa característico do RL.<br><br><br>O APO introduz uma família de objetivos contrastantes que consideram explicitamente a relação entre o modelo e o conjunto de dados de preferência. Sua formulação matemática para o APO-zero é:<br><br><br>Neste caso, $p _ { text {ref}} $ é uma distribuição de [http://keepinitreelcharters.net referência] e $ alpha$ controla a força da ancoragem.<br><br><br>Análise Comparativa<br><br><br>Cada [https://cambrity.com método apresenta] características únicas que o tornam mais adequado para [https://cosasdespuesdelamor.com cenários] específicos:<br><br><br>1. [http://61.178.84.898998 Requisitos] de Dados:<br><br><br>- PPO e GRPO [https://bakerbuffalocreek.com requerem apenas] um modelo de recompensa;<br>- DPO e APO necessitam de dados de preferência emparelhados;<br>- KTO funciona com feedback binário simples.<br><br><br>2. Eficiência Computacional:<br><br><br>GRPO se destaca pela eliminação da rede crítica;<br>- PPO pode ser computacionalmente intensivo;<br>- DPO e APO oferecem bom equilíbrio entre [https://www.vaha.it complexidade] e desempenho;<br><br><br>3. Estabilidade de Treinamento:<br><br><br>- APO e [https://koelnchor.de GRPO fornecem] maior estabilidade;<br>- PPO pode ser instável em configurações distribuídas;<br>- KTO e DPO mantêm estabilidade moderada.<br><br><br>4. Qualidade das Saídas:<br><br><br>- APO demonstra resultados superiores em {benchmarks|criteria|standards} desafiadores;<br>[https://avpro.cc GRPO excele] em [https://oeiltaifa.info tarefas] de raciocínio;<br>- KTO e DPO mostram {forte|specialty|strength} [https://chrestomathyoferrors.com alinhamento] com preferências humanas.<br><br><br>A escolha entre estes métodos frequentemente depende do contexto específico de aplicação, recursos computacionais disponíveis e requisitos de qualidade das [http://streamline.earth saídas]. No caso do DeepSeek-R1, a [http://hbproland.com adoção] do GRPO representa uma escolha equilibrada que prioriza eficiência computacional e qualidade de raciocínio, embora cada uma das alternativas apresente vantagens específicas que podem ser valiosas em diferentes contextos de aplicação.<br><br><br>Algumas Observações Particulares<br><br><br>O modelo [https://playovni.com parece ter] desenvolvido a capacidade de [http://www.sustainable-everyday-project.net revisitar] e revisar etapas intermediárias durante a resolução de problemas complexos. Este processo de reflexão permite que o [https://www.wikiwrimo.org modelo avalie] criticamente seu próprio raciocínio e faça ajustes quando [https://simulateur-multi-sports.com necessário]. Eu, ainda não tinha visto isso. O o1 da OpenAi não mostra todo o raciocínio, mas na parte que ele mostra não aparece qualquer revisão de etapas.<br><br><br>O DeepSeek-R1 demonstrou a habilidade de [http://128.199.125.933000 identificar] e corrigir erros em {tempo|pace} {real|genuine} durante seu processo de [https://falconsheightsbasketball.com raciocínio]. Novamente, [https://www.dadam21.co.kr não tinha] [http://pamayahomes.com visto isso] em nenhum outro modelo. Verdade seja dita, no dia que a OpenAi lançou o modelo de US$ 200,00 por mês, eu cancelei minha conta. Ou seja, pode ser que exista e eu [https://macmonkey.tv não tenha] visto.<br><br><br>Outra coisa interessante que podemos observar lendo as iterações do modelo é que, eventualmente ele para, por um {tempo|pace} maior e,  [https://iuridictum.pecina.cz/w/U%C5%BEivatel:GlenTozer830496 iuridictum.pecina.cz] de repente descobre a resposta correta. O artigo reforça que este comportamento {surge|rise} de forma espontânea através da interação do modelo com o ambiente de {Reinforcement|Support} {Learning|Knowing}, demonstrando a sua capacidade de melhorar a resolução de problemas de forma autônoma.<br><br><br>Finalmente, para quem gosta das técnicas de alta-performance, quando largamos as linguagens de programação e a compilação padrão e tiramos suco de pedra, tudo indica que o ganho de {performance|efficiency} e a [http://powertrackeg.com redução] do custo estejam relacionados ao uso [https://davenray.com desenfreado] do PTX.<br><br><br>O PTX (Parallel Thread Execution) é uma representação intermediária entre [https://www.sdk.cx linguagens] de alto nível, como CUDA C/C++, e o código de máquina (SASS - Shader ASSembly) executado pela GPU. Gerado pelo [https://www.dutyperfume.co.il compilador] NVCC, ele permite otimizações granulares, como ajuste de [https://dirtywordcustomz.com registradores] e organização de threads, que não são viáveis diretamente em CUDA. Para entender, {imagine|picture|think of|envision} que o CUDA é como escrever um texto em português, o PTX é uma tradução para o inglês, [https://fatsnowman.us próximo] mas [https://ehsuy.com ainda não] {final|last}, e o SASS é a versão em alemão, código de máquina específico. O PTX funciona como uma 'Assembly portável', [https://epmdigital.com.br oferecendo controle] detalhado sem perder compatibilidade entre arquiteturas de GPU. Assim, ele está muito mais próximo do [https://juryi.sn Assembly] do que de [https://drshirvany.ir linguagens] como Python. Se não entendeu, isso quer dizer que, dá para mexer no [https://www.crapo.fr sistema] com unhas e dentes.<br><br><br>[https://empregos.acheigrandevix.com.br Questões] em Aberto<br><br><br>Algumas questões estão abertas servido para fomentar um turbilhão de hipóteses na Xfere. Três me chamam a atenção:<br><br><br>1. Coleta de Dados: como foram curados os conjuntos de dados específicos para raciocínio? Compreender as fontes e critérios de seleção de dados é {crucial|essential|important|vital} para replicar e melhorar o desempenho do modelo;<br><br><br>2. Treinamento do Modelo: nenhum código de treinamento foi liberado pela DeepSeek, deixando incertezas sobre quais hiperparâmetros funcionam melhor e como eles [https://www.consultrh.fr diferem] entre famílias e [https://dongawith.com escalas] de modelos;<br><br><br>3. Leis de Escala: quais são as [https://www.infantswim.co.za relações] entre os custos de [https://accountshunt.com computação] e dados no treinamento de modelos de raciocínio? Precisamos conhecer estas relações para otimizar outros [http://advance5.com.my modelos].<br><br><br>4. Destilação: em modelos de linguagem grandes (LLMs) é uma técnica que [http://saganosteakhouse.com visa transferir] o [http://jimihendrixrecordguide.com conhecimento] de um modelo maior e mais complexo (o "{professor|teacher}") para um modelo menor e mais eficiente (o "aluno"). É como se estivéssemos condensando a sabedoria de um especialista em um {manual|handbook} mais conciso, mas igualmente útil. Essa é uma técnica relativamente corrente no desenvolvimento de modelos LLMs. O ponto importante aqui é a profundidade desta destilação e o que será considerado justo, ou não.<br><br><br>Finalmente: todo este texto foi escrito com ferramentas de inteligência {artificial|synthetic} para busca, formatação e revisão: notebookllm, deepseek, gemini, claude e qwen2.5.<br><br><br>Referências<br><br><br>1. DeepSeek-R1: Incentivizing {Reasoning|Thinking} {Capability|Ability} in ** LLM {via|through|by means of} {Reinforcement|Support} {Learning|Knowing} **<br><br><br>- arXiv:2501.12948.<br>https://arxiv.org/abs/2501.12948<br><br><br>2. DeepSeekMath: {Pushing|Pressing} the {Limits|Limitations} of Mathematical {Reasoning|Thinking} in Open [https://usa.life Language] {Models|Designs}<br><br><br>- arXiv:2402.03300.<br>https://arxiv.org/abs/2402.03300<br><br><br>DeepSeek-V3 [https://packagingecologico.com Technical Report] - arXiv:2412.19437.<br>https://arxiv.org/abs/2412.19437<br><br><br>Open-R1: {a fully|a completely|a totally} open {reproduction|recreation} of DeepSeek-R1 - Hugging Face {Blog|Blog Site}.<br>https://huggingface.co/blog/open-r1<br><br><br>[https://front-cafe.ru Proximal Policy] Optimization Algorithms - arXiv:1707.06347 v2.<br>https://arxiv.org/abs/1707.06347<br><br><br>Reformer: The {Efficient|Effective} Transformer - arXiv:2001.04451 v1.<br>https://arxiv.org/abs/2001.04451<br><br><br>Group Robust {Preference|Choice} Optimization in [https://h-energy-m.com Reward-free RLHF] - arXiv:2405.20304.<br>https://arxiv.org/abs/2405.20304<br><br><br>[https://hoangthangnam.com Attention] is All you {Need|Required} - arXiv:1706.03762.<br>https://arxiv.org/abs/1706.03762<br><br><br>Chain-of-Thought Prompting {Elicits|Generates} {Reasoning|Thinking} in {Large|Big} Language {Models|Designs} - arXiv:2201.11903.<br>https://arxiv.org/abs/2201.11903<br><br><br>{Large|Big} Language {Models|Designs} are Zero-Shot Reasoners - arXiv:2205.11916.<br>https://arxiv.org/abs/2205.11916<br><br><br>{Secrets|Tricks} of RLHF in {Large|Big} Language {Models|Designs} Part I: PPO - arXiv:2307.04964.<br>https://arxiv.org/abs/2307.04964<br><br><br>1. isso é um problema porque a maioria dos modelos {usa|U.S.A.} alguma técnica de web-crawling para recuperar dados da {internet|web}. Mais, ou menos, usando a ideia que deu origem ao Google. A maior parte do dado recolhido desta forma tem baixa qualidade. Eu tenho uma, ou duas ideias de como melhorar isso, respeitando todos os direitos autorais. Dada a qualidade da resposta do DeepSeek-R1, tem uma [http://www.wistheventmedia.se pulga atrás] da minha orelha gritando. Eles se [https://hoteldemontaulbain.fr tocaram]! Olha lá, caiu a ficha! [http://passioncareinternational.org ↩ ↩] 2 ↩ 3<br><br><br>2. acabei de ter uma ideia que vou deixar escrita aqui só para não perder o fio: fuzzy {logic|reasoning}. ↩<br><br><br>3. eu sei que você não vai acreditar em mim. Mas, é assim que [https://nhadaututhanhcong.com você lê]. Em grupos de palavras. Aliás, todas as técnicas de [http://theheritagegrill.com leitura rápida] se baseiam nisso.<br>