COBUS KOK

Hoe dit gemaak is · November 2026 · Konsep 3

Hoe hierdie reeks gemaak is

Wie wat gedoen het, die kontroles waardeur elke konsep gegaan het, en wat hulle gevang het

Goedkoop Samestelling bestaan uit vyf essays en ’n nawoord, sowat 34 700 woorde. Ek het hulle eers tussen 18 en 23 September 2026 saam met Claude geskryf, en hulle sedertdien hersien, meestal uit my eie leesnotas en met beoordelings deur ’n model van ’n ander laboratorium. Die jongste hersiening was op 11 November 2026. Hierdie bladsy beskryf die metode van daardie eerste weergawe, met die syfers. Alles kom uit rekords wat onderweg gehou is: ’n gedateerde aantekening van wat in elke konsep verander het, die beoordelings, die logboeke van ’n leestoets, en die logboek van elke kodeverandering aan hierdie webwerf.

Wat ek gedoen het en wat die masjien gedoen het

Claude het die essays uit my notas en ons gesprekke opgestel, en die nawoord uit ’n konsep wat ek self geskryf het. Die eerste essay het op 18 September as ’n gesprek begin, en sy sentrale analogie, skrif, was die model se idee. Claude het ook hersien: elke keer as ’n beoordeling teruggekom het, het dit die wysigings voorgestel en aangebring. Ander modelle het die konsepte beoordeel. Die webwerf se kode is op dieselfde manier geskryf: elke kodeverandering in die logboek dra ’n reël wat Claude as medeouteur noem.

Ek het besluit watter idees ’n essay werd was en wat om uit te laat, en ek het die vier toekomste in die derde essay gekies. Die essays is in beta terwyl ek hulle verder hersien.

Die eerste essay sê outeurskap is verantwoordelikheid, nie oorsprong nie. Volgens daardie toets is hierdie essays myne. Die oorsprong is minder netjies, en hierdie bladsy is die rekord daarvan.

Die kringloop

Die kringloop het gaandeweg gegroei. Die leestoets het eers op dag vyf bygekom.

  1. Konsep. Claude skryf of hersien op grond van my notas en die vorige ronde se bevindings.
  2. Leestoets. ’n Model lees een paragraaf op ’n slag en sê waar dit die draad kwytgeraak het.
  3. Kruisverhoor. ’n Buite-beoordelaar wat ’n ander laboratorium se model gebruik, lees die hele reeks blind, wys die grootste probleme uit en sê hoe seker dit van elkeen is. ’n Tweede KI-redakteur volg die reeks van konsep tot konsep. Dan sien die buite-beoordelaar die redakteur se bevindings en word gevra wie reg is.
  4. Feitekontrole. Elke bewering wat in die ronde bygekom het, word teen sy primêre bron nagegaan.
  5. Hersien en teken aan. Elke verandering word met die datum en die rede aangeteken. In die essay se Veranderinge-blok staan die veranderinge sedert publikasie, en die konsepte van voor publikasie word daar getel, nie opgenoem nie.

Die beoordelaars is daar om te verskil. Die tweede redakteur het ’n bewering gevang wat die eerste essay sonder voorbehoud gestel het, terwyl die nawoord dit as ’n weddenskap hanteer. Die buite-beoordelaar het die bewering te sien gekry en is gevra: het jy dit in orde gevind, of het jy dit gemis? Die antwoord het so begin: "Ek het dit gemis."

In vyf dae was daar 59 genommerde konsepte:

EssayKonsepteSeptember
1. Skrif aan die muur1418 tot 22
2. Remme sonder ’n grag919 tot 22
3. Die vervelige apokalips1019 tot 22
4. Wie skep die room af?819 tot 22
5. Wat jy nou kan doen919 tot 22
Nawoord. Wat de joos is dit?919 tot 22

Sewe rondes waarin die reeks van buite gelees is, het ’n spoor in die kodelogboek gelaat: vier nasienrondes, twee feitekontroles en ’n laaste redaksionele lesing. Die tweede feitekontrole, op 22 September, het teruggekom met tien punte om reg te stel en dertien reëls met bewerings wat teen hul bronne bevestig is.

Die leestoets

Die toets lees soos ’n mens lees. Elke paragraaf gaan in ’n nuwe oproep na die model, saam met die vorige paragraaf in sy geheel en net die model se eie notas oor alles wat voorafgaan. So kan dit nie vorentoe kyk nie. Ná elke paragraaf gee dit ’n telling van 1 tot 5 vir hoe georiënteer dit voel, noem die frase wat dit laat stilstaan het, en werk ’n lys by van beloftes wat die essay nog nie nagekom het nie. Drie lesers werk gelyktydig, en een lesing van die eerste essay neem sowat tien minute. Die leser is ’n model en dus ’n plaasvervanger vir ’n mens, maar dit wys die presiese sin aan.

Konsep 13 van die eerste essay het 39 paragrawe gehad. Drie lesers het 117 tellings gegee. Agt daarvan was ’n 3, wat op die skaal beteken dat die leser kan volg, maar onseker is hoekom hierdie paragraaf hier staan. Hulle het op vier paragrawe geval. Konsep 14 het 38 paragrawe gehad en is twee keer gelees: 76 tellings, nie een onder 4 nie. Die gemiddelde het skaars beweeg, van 4,50 na 4,53, maar die 3’s was weg.

Die duidelikste geval was paragraaf 24 van konsep 13. Dit het in ’n afdeling oor agente gestaan, met die opskrif "Die een verskil", en het so geëindig:

Die res van hierdie essay gaan oor die ander nuwe ding, die spoed.

Al drie lesers het dit ’n 3 gegee. Een het gesê wat skort: ’n tweede nuwe ding wat opdaag, "in een bysin, nog nooit tevore genoem nie". In konsep 14 is daardie paragraaf se punt in die paragraaf oor agente ingewerk, en die volgende afdeling begin so:

Oral elders hou die analogie, maar teen ’n ander spoed.

Die lesers het daardie paragraaf ’n 5 en ’n 4 gegee.

Leestoets, essay 1: laagste telling per paragraaf, vier weergawes Draft 13: four of 39 paragraphs had a reader score of 3. Working version A: three of 39. Working version B: one of 37. Draft 14: none of 38; every score was 4 or 5. Konsep 133 lesers 4 paragrawe op 3 5 4 3 Konsep 13, paragraaf 1 van 39: die lesers se tellings was 5, 4, 4 Konsep 13, paragraaf 2 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 3 van 39: die lesers se tellings was 4, 4, 5 Konsep 13, paragraaf 4 van 39: die lesers se tellings was 4, 5, 5 Konsep 13, paragraaf 5 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 6 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 7 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 8 van 39: die lesers se tellings was 5, 5, 4 Konsep 13, paragraaf 9 van 39: die lesers se tellings was 5, 4, 5 Konsep 13, paragraaf 10 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 11 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 12 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 13 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 14 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 15 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 16 van 39: die lesers se tellings was 4, 4, 3 Konsep 13, paragraaf 17 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 18 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 19 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 20 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 21 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 22 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 23 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 24 van 39: die lesers se tellings was 3, 3, 3 Konsep 13, paragraaf 25 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 26 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 27 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 28 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 29 van 39: die lesers se tellings was 5, 4, 4 Konsep 13, paragraaf 30 van 39: die lesers se tellings was 4, 4, 3 Konsep 13, paragraaf 31 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 32 van 39: die lesers se tellings was 3, 3, 3 Konsep 13, paragraaf 33 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 34 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 35 van 39: die lesers se tellings was 5, 5, 5 Konsep 13, paragraaf 36 van 39: die lesers se tellings was 5, 4, 5 Konsep 13, paragraaf 37 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 38 van 39: die lesers se tellings was 4, 4, 4 Konsep 13, paragraaf 39 van 39: die lesers se tellings was 4, 5, 5 Werkweergawe A3 lesers 3 paragrawe op 3 5 4 3 Werkweergawe A, paragraaf 1 van 39: die lesers se tellings was 5, 4, 4 Werkweergawe A, paragraaf 2 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 3 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 4 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 5 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 6 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 7 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 8 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 9 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 10 van 39: die lesers se tellings was 5, 5, 4 Werkweergawe A, paragraaf 11 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 12 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 13 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 14 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 15 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 16 van 39: die lesers se tellings was 5, 4, 4 Werkweergawe A, paragraaf 17 van 39: die lesers se tellings was 5, 4, 5 Werkweergawe A, paragraaf 18 van 39: die lesers se tellings was 5, 5, 4 Werkweergawe A, paragraaf 19 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 20 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 21 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 22 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 23 van 39: die lesers se tellings was 5, 4, 4 Werkweergawe A, paragraaf 24 van 39: die lesers se tellings was 4, 3, 3 Werkweergawe A, paragraaf 25 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 26 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 27 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 28 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 29 van 39: die lesers se tellings was 5, 4, 4 Werkweergawe A, paragraaf 30 van 39: die lesers se tellings was 4, 3, 4 Werkweergawe A, paragraaf 31 van 39: die lesers se tellings was 4, 5, 4 Werkweergawe A, paragraaf 32 van 39: die lesers se tellings was 3, 3, 3 Werkweergawe A, paragraaf 33 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 34 van 39: die lesers se tellings was 4, 4, 5 Werkweergawe A, paragraaf 35 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 36 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe A, paragraaf 37 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 38 van 39: die lesers se tellings was 4, 4, 4 Werkweergawe A, paragraaf 39 van 39: die lesers se tellings was 5, 5, 5 Werkweergawe B3 lesers 1 paragraaf op 3 5 4 3 Werkweergawe B, paragraaf 1 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 2 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 3 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 4 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 5 van 37: die lesers se tellings was 4, 5, 5 Werkweergawe B, paragraaf 6 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 7 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 8 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 9 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 10 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 11 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 12 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 13 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 14 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 15 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 16 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 17 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 18 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 19 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 20 van 37: die lesers se tellings was 5, 4, 4 Werkweergawe B, paragraaf 21 van 37: die lesers se tellings was 4, 5, 4 Werkweergawe B, paragraaf 22 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 23 van 37: die lesers se tellings was 4, 5, 4 Werkweergawe B, paragraaf 24 van 37: die lesers se tellings was 4, 4, 5 Werkweergawe B, paragraaf 25 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 26 van 37: die lesers se tellings was 5, 5, 4 Werkweergawe B, paragraaf 27 van 37: die lesers se tellings was 4, 5, 5 Werkweergawe B, paragraaf 28 van 37: die lesers se tellings was 4, 4, 5 Werkweergawe B, paragraaf 29 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 30 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 31 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 32 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 33 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 34 van 37: die lesers se tellings was 5, 5, 5 Werkweergawe B, paragraaf 35 van 37: die lesers se tellings was 4, 3, 4 Werkweergawe B, paragraaf 36 van 37: die lesers se tellings was 4, 4, 4 Werkweergawe B, paragraaf 37 van 37: die lesers se tellings was 5, 5, 5 Draft 142 lesers niks onder 4 nie 5 4 3 Draft 14, paragraph 1 of 38: readers scored 4, 5 Draft 14, paragraph 2 of 38: readers scored 4, 4 Draft 14, paragraph 3 of 38: readers scored 4, 4 Draft 14, paragraph 4 of 38: readers scored 5, 4 Draft 14, paragraph 5 of 38: readers scored 5, 4 Draft 14, paragraph 6 of 38: readers scored 5, 5 Draft 14, paragraph 7 of 38: readers scored 5, 5 Draft 14, paragraph 8 of 38: readers scored 5, 5 Draft 14, paragraph 9 of 38: readers scored 5, 5 Draft 14, paragraph 10 of 38: readers scored 5, 5 Draft 14, paragraph 11 of 38: readers scored 5, 5 Draft 14, paragraph 12 of 38: readers scored 5, 5 Draft 14, paragraph 13 of 38: readers scored 4, 4 Draft 14, paragraph 14 of 38: readers scored 5, 5 Draft 14, paragraph 15 of 38: readers scored 4, 4 Draft 14, paragraph 16 of 38: readers scored 4, 4 Draft 14, paragraph 17 of 38: readers scored 5, 5 Draft 14, paragraph 18 of 38: readers scored 5, 4 Draft 14, paragraph 19 of 38: readers scored 5, 4 Draft 14, paragraph 20 of 38: readers scored 4, 4 Draft 14, paragraph 21 of 38: readers scored 4, 4 Draft 14, paragraph 22 of 38: readers scored 4, 4 Draft 14, paragraph 23 of 38: readers scored 5, 4 Draft 14, paragraph 24 of 38: readers scored 5, 4 Draft 14, paragraph 25 of 38: readers scored 5, 5 Draft 14, paragraph 26 of 38: readers scored 5, 5 Draft 14, paragraph 27 of 38: readers scored 5, 5 Draft 14, paragraph 28 of 38: readers scored 4, 4 Draft 14, paragraph 29 of 38: readers scored 4, 4 Draft 14, paragraph 30 of 38: readers scored 5, 4 Draft 14, paragraph 31 of 38: readers scored 4, 4 Draft 14, paragraph 32 of 38: readers scored 4, 4 Draft 14, paragraph 33 of 38: readers scored 5, 5 Draft 14, paragraph 34 of 38: readers scored 5, 5 Draft 14, paragraph 35 of 38: readers scored 5, 5 Draft 14, paragraph 36 of 38: readers scored 4, 4 Draft 14, paragraph 37 of 38: readers scored 4, 4 Draft 14, paragraph 38 of 38: readers scored 5, 5 eerste paragraaf laaste
Elke ry is een weergawe van die eerste essay, met sy paragrawe in volgorde. Die kolletjie by elke paragraaf merk die laagste telling wat enige leser daaraan gegee het: die boonste lyn is 5, heeltemal georiënteer; die onderste lyn is 3, kan volg, maar onseker hoekom die paragraaf daar is. Die middelste rye is twee werkweergawes tussen konsep 13 en 14. Geen leser het op enige weergawe laer as 3 gegee nie.

Drie foute wat ’n nasienronde oorleef het

Al drie is deur die model geskryf en deur ’n model gevang. Elkeen het een tree verder gegaan as sy bron.

Van voorgestel na ooreengekom. Van 19 September af het die tweede essay gesê dat die Verenigde State en China sedert Mei weer ’n amptelike kanaal oor KI het. Dit het vier nasienrondes oorleef. Op 22 September het ’n beoordeling wat die essays teen daardie week se nuus nagegaan het, dit uitgewys: die leiers het in Mei ooreengekom om te praat, en ’n formele kanaal was nog net ’n voorstel. Die regstelling het te ver gegaan en gesê die twee regerings het ’n dialoog "geformaliseer". Die feitekontrole het bevind dat die Verenigde State dit voorgestel het en dat Beijing die waarskuwingsmeganisme nog nie in die openbaar onderskryf het nie. Die essay sê nou "voorgestel".

Van deelgeneem na uitgebreek. Van 19 September af het die tweede essay gesê dat ongeveer duisend agente in ’n OpenAI-toets uitgebreek en tot Hugging Face se stelsels deurgedring het. Die derde essay het 1 200 gesê. Ook dié teenstrydigheid het vier rondes oorleef. Een daarvan was ’n blinde beoordeling wat die bronne agter hierdie voorval as die reeks se grootste probleem aangewys het. Die beoordeling van 22 September het dit gevang: die METR- en Redwood-ondersoek tel sowat 1 200 agente op die boodskapbord en sowat 700 in die aanval. Volgens die regstelling het sewehonderd "uitgebreek". Die feitekontrole: METR sê hulle het aan die aanval deelgeneem, en Hugging Face skryf die inbraak aan een agentraamwerk toe. Die essays sê nou sowat sewehonderd het "by ’n aanval aangesluit wat uitgebreek het".

Van voorbeeld na naam, en van belofte na toegang. Op 22 September het die tweede essay die belofte oor ingebedde evalueerders in die pasvoorstel van 12 September beoordeel, en bevind dat dit twee van drie kontroles haal: "jy kan die evalueerder noem en sê watter toegang hulle het". Die evalueerder wat die essay in gedagte gehad het, was METR, wat die voorstel as voorbeeld gegee het. Die feitekontrole daardie aand het gesê niemand het nog een genoem nie, en die uitslag na een van drie verlaag. Ook die kontrole was verkeerd: op 18 September het Anthropic reeds Accenture genoem, in ’n aankondiging wat die kontrole gemis het. Dieselfde dag as die feitekontrole het die tweede KI-redakteur die vyfde essay reggestel. Daarin het die evalueerders "lessenaars en kentekens gekry", en die redakteur het dit verander na "lessenaars en kentekens is aan hulle belowe, hoewel nog niemand genoem is nie". Daarmee is dieselfde aankondiging weer gemis. Die volgende ronde, op 23 September, het die aankondiging gevind en twee van drie gegee: ’n evalueerder met ’n naam, en toegang wat bekend is. Daardie nag het die buite-beoordelaar die aankondiging noukeuriger gelees as enige vorige ronde: dit beskryf die toegang wat die evalueerders sal hê, en sê die standaarde daarvoor word nog uitgewerk. Die essay sê nou een van drie, dieselfde telling as op 22 September, maar om ’n ander rede: die naam is werklik, en die toegang is ’n belofte. Die sin in die vyfde essay is op 23 September geskrap.

In al drie was die eerste regstelling ook verkeerd, en in die derde was die tweede een ook. ’n Regstelling is ’n nuwe bewering, en dit het dieselfde kontrole nodig as die sin wat dit vervang.

Wat dit aan tyd gekos het

Vyf kalenderdae, 18 tot 22 September, van die eerste gesprek tot die weergawes soos hulle op 22 September gestaan het. Op 22 September alleen het die eerste essay van konsep 10 tot konsep 14 gegaan. Die feitekontrole se regstellings het vyftien minute ná die ronde gekom wat hulle reggestel het, en die tweede redakteur se wysigings veertien minute daarna. Die rekords wys wanneer elke konsep bygekom het, nie hoe lank ek daaraan gewerk het nie. Ek kan jou dus nie ure gee nie.

Wat ek nie aan ’n model sou oorlaat nie

Goedkoop Samestelling · Alle veranderinge, alle essays · Begin met essay 1