Wie wat gedoen het, die kontroles waardeur elke konsep gegaan het, en wat hulle gevang het
Cobus Kok
Goedkoop Samestelling bestaan uit vyf essays en 'n nawoord, sowat 21 600 woorde, wat ek tussen 18 en 23 September 2026 saam met Claude geskryf het. Hierdie bladsy beskryf die metode, met die syfers. Alles kom uit rekords wat onderweg gehou is: elke essay se gedateerde lys veranderinge, die beoordelings, die logboeke van 'n leestoets, en die logboek van elke kodeverandering aan hierdie webwerf.
Wat ek gedoen het en wat die masjien gedoen het
Claude het die essays uit my notas en ons gesprekke opgestel, en die nawoord uit 'n konsep wat ek self geskryf het. Die eerste essay het op 18 September as 'n gesprek begin, en sy sentrale analogie, skrif, was die model se idee. Claude het ook hersien: elke keer as 'n beoordeling teruggekom het, het dit die wysigings voorgestel en aangebring. Ander modelle het die konsepte beoordeel. Die webwerf se kode is op dieselfde manier geskryf: elke kodeverandering in die logboek dra 'n reël wat Claude as medeouteur noem.
Ek het besluit watter idees 'n essay werd was en wat om uit te laat. Ek het die kanse in die derde essay bepaal. My naam op die essays beteken dat ek elke sin gelees het en dit sal verdedig.
Die eerste essay sê outeurskap is verantwoordelikheid, nie oorsprong nie. Volgens daardie toets is hierdie essays myne. Die oorsprong is minder netjies, en hierdie bladsy is die rekord daarvan.
Die kringloop
Die kringloop het gaandeweg gegroei. Die leestoets het eers op dag vyf bygekom.
Konsep. Claude skryf of hersien op grond van my notas en die vorige ronde se bevindings.
Leestoets. 'n Model lees een paragraaf op 'n slag en sê waar dit die draad kwytgeraak het.
Kruisverhoor. 'n Buite-beoordelaar wat 'n ander laboratorium se model gebruik, lees die hele reeks blind, wys die grootste probleme uit en gee elkeen 'n sekerheidsgraad van 0 tot 1. 'n Tweede KI-redakteur volg die reeks van konsep tot konsep. Dan sien die buite-beoordelaar die redakteur se bevindings en word gevra wie reg is.
Feitekontrole. Elke bewering wat in die ronde bygekom het, word teen sy primêre bron nagegaan.
Hersien en teken aan. Elke verandering gaan in die essay se Veranderinge-blok, met die datum en die rede.
Die beoordelaars is daar om te verskil. Die tweede redakteur het 'n bewering gevang wat die eerste essay sonder voorbehoud gestel het, terwyl die nawoord dit as 'n weddenskap hanteer. Die buite-beoordelaar het die bewering te sien gekry en is gevra: het jy dit in orde gevind, of het jy dit gemis? Die antwoord het so begin: "Ek het dit gemis."
In vyf dae was daar 59 genommerde konsepte:
Essay
Konsepte
September
1. Wat Skrif Gedoen Het
14
18 tot 22
2. Remme sonder 'n Grag
9
19 tot 22
3. Die Vervelige Apokalips
10
19 tot 22
4. Waarheen die Waarde Gaan
8
19 tot 22
5. Wat om Werklik te Doen
9
19 tot 22
Nawoord. Wat Dit Is
9
19 tot 22
Sewe rondes waarin die reeks van buite gelees is, het 'n spoor in die kodelogboek gelaat: vier nasienrondes, twee feitekontroles en 'n laaste redaksionele lesing. Die tweede feitekontrole, op 22 September, het teruggekom met tien punte om reg te stel en dertien reëls met bewerings wat teen hul bronne bevestig is.
Die leestoets
Die toets lees soos 'n mens lees. Elke paragraaf gaan in 'n nuwe oproep na die model, saam met die vorige paragraaf in sy geheel en net die model se eie notas oor alles wat voorafgaan. So kan dit nie vorentoe kyk nie. Ná elke paragraaf gee dit 'n telling van 1 tot 5 vir hoe georiënteer dit voel, noem die frase wat dit laat stilstaan het, en werk 'n lys by van beloftes wat die essay nog nie nagekom het nie. Drie lesers werk gelyktydig, en een lesing van die eerste essay neem sowat tien minute. Die leser is 'n model en dus 'n plaasvervanger vir 'n mens, maar dit wys die presiese sin aan.
Konsep 13 van die eerste essay het 39 paragrawe gehad. Drie lesers het 117 tellings gegee. Agt daarvan was 'n 3, wat op die skaal beteken dat die leser kan volg, maar onseker is hoekom hierdie paragraaf hier staan. Hulle het op vier paragrawe geval. Die gepubliseerde konsep 14 het 38 paragrawe gehad en is twee keer gelees: 76 tellings, nie een onder 4 nie. Die gemiddelde het skaars beweeg, van 4,50 na 4,53. Wat wel beweeg het, was die laagste telling.
Die duidelikste geval was paragraaf 24 van konsep 13. Dit het in 'n afdeling oor agente gestaan, met die opskrif "Die een verskil", en het so geëindig:
Die res van hierdie essay gaan oor die ander nuwe ding, die spoed.
Al drie lesers het dit 'n 3 gegee. Een het gesê wat skort: 'n tweede nuwe ding wat opdaag, "in een bysin, nog nooit tevore genoem nie". In konsep 14 is daardie paragraaf se punt in die paragraaf oor agente ingewerk, en die volgende afdeling begin so:
Oral elders hou die analogie, maar teen 'n ander spoed.
Die lesers het daardie paragraaf 'n 5 en 'n 4 gegee.
Elke ry is een weergawe van die eerste essay, met sy paragrawe in volgorde. Die kolletjie by elke paragraaf merk die laagste telling wat enige leser daaraan gegee het: die boonste lyn is 5, heeltemal georiënteer; die onderste lyn is 3, kan volg, maar onseker hoekom die paragraaf daar is. Die middelste rye is twee werkweergawes tussen konsep 13 en 14 wat nooit gepubliseer is nie. Geen leser het op enige weergawe laer as 3 gegee nie.
Drie foute wat 'n nasienronde oorleef het
Al drie is deur die model geskryf en deur 'n model gevang. Elkeen het een tree verder gegaan as sy bron.
Van voorgestel na ooreengekom. Van 19 September af het die tweede essay gesê dat die Verenigde State en China sedert Mei weer 'n amptelike kanaal oor KI het. Dit het vier nasienrondes oorleef. Op 22 September het 'n beoordeling wat die essays teen daardie week se nuus nagegaan het, dit uitgewys: die leiers het in Mei ooreengekom om te praat, en 'n formele kanaal was nog net 'n voorstel. Die regstelling het te ver gegaan en gesê die twee regerings het 'n dialoog "geformaliseer". Die feitekontrole het bevind dat die Verenigde State dit voorgestel het en dat Beijing die waarskuwingsmeganisme nog nie in die openbaar onderskryf het nie. Die essay sê nou "voorgestel".
Van deelgeneem na uitgebreek. Van 19 September af het die tweede essay gesê dat ongeveer duisend agente in 'n OpenAI-toets uitgebreek en tot Hugging Face se stelsels deurgedring het. Die derde essay het 1 200 gesê. Ook dié teenstrydigheid het vier rondes oorleef. Een daarvan was 'n blinde beoordeling wat die bronne agter hierdie voorval as die reeks se grootste probleem aangewys het. Die beoordeling van 22 September het dit gevang: die METR- en Redwood-ondersoek tel sowat 1 200 agente op die boodskapbord en sowat 700 in die aanval. Volgens die regstelling het sewehonderd "uitgebreek". Die feitekontrole: METR sê hulle het aan die aanval deelgeneem, en Hugging Face skryf die inbraak aan een agentraamwerk toe. Die essays sê nou sowat sewehonderd het "by 'n aanval aangesluit wat uitgebreek het".
Van voorbeeld na naam, en van belofte na toegang. Op 22 September het die tweede essay die belofte oor ingebedde evalueerders in die pasvoorstel van 12 September beoordeel, en bevind dat dit twee van drie kontroles haal: "jy kan die evalueerder noem en sê watter toegang hulle het". Die evalueerder wat die essay in gedagte gehad het, was METR, wat die voorstel as voorbeeld gegee het. Die feitekontrole daardie aand het gesê niemand het nog een genoem nie, en die uitslag na een van drie verlaag. Ook die kontrole was verkeerd: op 18 September het Anthropic reeds Accenture genoem, in 'n aankondiging wat die kontrole gemis het. Dieselfde dag as die feitekontrole het die tweede KI-redakteur die vyfde essay reggestel. Daarin het die evalueerders "lessenaars en kentekens gekry", en die redakteur het dit verander na "lessenaars en kentekens is aan hulle belowe, hoewel nog niemand genoem is nie". Daarmee is dieselfde aankondiging weer gemis. Die volgende ronde, op 23 September, het die aankondiging gevind en twee van drie gegee: 'n evalueerder met 'n naam, en toegang wat bekend is. Daardie nag het die buite-beoordelaar die aankondiging noukeuriger gelees as enige vorige ronde: dit beskryf die toegang wat die evalueerders sal hê, en sê die standaarde daarvoor word nog uitgewerk. Die essay sê nou een van drie, dieselfde telling as op 22 September, maar om 'n ander rede: die naam is werklik, en die toegang is 'n belofte. Die sin in die vyfde essay is op 23 September geskrap.
In al drie was die eerste regstelling ook verkeerd, en in die derde was die tweede een ook. 'n Regstelling is 'n nuwe bewering, en dit het dieselfde kontrole nodig as die sin wat dit vervang.
Wat dit aan tyd gekos het
Vyf kalenderdae, 18 tot 22 September, van die eerste gesprek tot die weergawes soos hulle op 22 September gestaan het. Op 22 September alleen het die eerste essay van konsep 10 tot konsep 14 gegaan. Die feitekontrole se regstellings het vyftien minute ná die ronde gekom wat hulle reggestel het, en die tweede redakteur se wysigings veertien minute daarna. Die kodelogboek wys wanneer elke konsep bygekom het, nie hoe lank ek daaraan gewerk het nie. Ek kan jou dus nie ure gee nie, en ek gaan nie raai nie.
Wat ek nie aan 'n model sou oorlaat nie
Die kanse. Die vier waarskynlikhede in die derde essay is myne. Die tekens agter hulle word in September 2027 en 2028 nagegaan, en die kanse word in 2030 besleg. 'n Model kan argumente vir 'n hoër of 'n laer syfer aanvoer. Dit verloor niks as die syfer verkeerd is nie.
Die beslissing tussen beoordelaars. Op 21 September het die buite-beoordelaar die bronne agter die Julie-voorval boaan sy lys geplaas, en die tweede redakteur die bewering wat die eerste essay sonder voorbehoud gestel het, boaan sy eie. Albei was oor iets reg. Watter een die essay beantwoord, is 'n besluit, en dit is myne.
Die naam daarop. Ek het elke stuk hier gelees voordat dit aanlyn verskyn het. As 'n sin verkeerd is, lê dit by my, wie dit ook al eerste geskryf het.