Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
@@ -0,0 +1,137 @@
import type { Block } from '../types'

export const body: Block[] = [
{
"kind": "p",
"text": "The usual intuition about context length is monotone: more context, better or equal perplexity, with diminishing returns. Ternary training does not do that."
},
{
"kind": "h",
"text": "The measurement"
},
{
"kind": "table",
"head": [
"ctx",
"perplexity"
],
"rows": [
[
"18",
"5.58"
],
[
"27 = 3³",
"2.96"
],
[
"54 = 2×27",
"6.05"
]
]
},
{
"kind": "p",
"text": "Going from 18 to 27 nearly halves perplexity. Doubling from 27 to 54 does not merely lose that gain — it lands worse than the ctx=18 baseline it started from."
},
{
"kind": "quote",
"text": "Ternary scaling follows a resonance curve, not a power law. The optimal contexts are 3ᵏ orbitals — 9, 27, 81 — and the values between them are forbidden zones."
},
{
"kind": "h",
"text": "Why this is a claim and not an anomaly"
},
{
"kind": "p",
"text": "A scaling law does not do this. Under any monotone law, ctx=54 sits between ctx=27 and the asymptote, so it can be worse than 27 by diminishing returns but not worse than 18. One measurement that goes backwards past its own baseline is not noise around a curve; it is the wrong shape of curve."
},
{
"kind": "h",
"text": "The companion constraint"
},
{
"kind": "p",
"text": "A second result from the same series: the context must equal the head dimension, or a power-of-three divisor of it. Square attention — ctx = head_dim — gives full rank; anything else gives up rank silently."
},
{
"kind": "p",
"text": "Taken together the two are a recipe with no free parameters: pick a power of three, then set head_dim to it. Any other pair either lands in a forbidden zone or gives up rank, and both failures are quiet — the run trains, it just trains worse."
},
{
"kind": "h",
"text": "What would falsify it"
},
{
"kind": "p",
"text": "A binary-weight control at ctx = 16, 32, 64. If the same non-monotonicity appears with powers of two, the effect is about context alignment in general and has nothing to do with the ternary alphabet. That control has not been run here, and it is the first thing I would ask for if someone showed me this table."
}
]

export const ruBody: Block[] = [
{
"kind": "p",
"text": "Обычная интуиция про длину контекста монотонна: больше контекста — перплексия та же или лучше, с убывающей отдачей. Троичное обучение так себя не ведёт."
},
{
"kind": "h",
"text": "Измерение"
},
{
"kind": "table",
"head": [
"ctx",
"перплексия"
],
"rows": [
[
"18",
"5.58"
],
[
"27 = 3³",
"2.96"
],
[
"54 = 2×27",
"6.05"
]
]
},
{
"kind": "p",
"text": "Переход с 18 на 27 почти вдвое улучшает перплексию. Удвоение с 27 до 54 не просто теряет этот выигрыш — оно оказывается хуже базы ctx=18, с которой всё начиналось."
},
{
"kind": "quote",
"text": "Троичное масштабирование следует резонансной кривой, а не степенному закону. Оптимальные контексты — орбитали 3ᵏ: 9, 27, 81. Значения между ними — запрещённые зоны."
},
{
"kind": "h",
"text": "Почему это утверждение, а не аномалия"
},
{
"kind": "p",
"text": "Степенной закон так не делает. При любом монотонном законе ctx=54 лежит между ctx=27 и асимптотой: он может быть хуже 27 за счёт убывающей отдачи, но не хуже 18. Измерение, ушедшее назад за собственную базу, — не шум вокруг кривой, а неверная форма кривой."
},
{
"kind": "h",
"text": "Парная связь"
},
{
"kind": "p",
"text": "Второй результат из той же серии: контекст должен равняться размерности головы или её степень-тройки делителю. Квадратное внимание — ctx = head_dim — даёт полный ранг; всё остальное ранг молча теряет."
},
{
"kind": "p",
"text": "Вместе получается рецепт без свободных параметров: возьми степень тройки, поставь head_dim равным ей. Любая другая пара либо попадает в запрещённую зону, либо теряет ранг, и оба отказа тихие — прогон обучается, просто обучается хуже."
},
{
"kind": "h",
"text": "Чем это опровергается"
},
{
"kind": "p",
"text": "Контроль на двоичных весах при ctx = 16, 32, 64. Если та же немонотонность появится со степенями двойки, эффект про выравнивание контекста вообще и к троичному алфавиту отношения не имеет. Этот контроль здесь не прогонялся, и это первое, что я потребовал бы, покажи мне кто-то такую таблицу."
}
]
157 changes: 157 additions & 0 deletions apps/website/src/data/blog/bodies/eight-theorems-audited.ts
Original file line number Diff line number Diff line change
@@ -0,0 +1,157 @@
import type { Block } from '../types'

export const body: Block[] = [
{
"kind": "p",
"text": "The proofs page carried eight theorems. I had written them and never checked them mechanically. So: each one verified by computation, and each verdict then attacked by a second independent pass trying to show the label was too generous or too harsh."
},
{
"kind": "p",
"text": "Zero verdicts were disputed. Here is what came back."
},
{
"kind": "h",
"text": "Four held"
},
{
"kind": "table",
"head": [
"",
"statement",
"label"
],
"rows": [
[
"1",
"phi² + 1/phi² = 3",
"[Verified]"
],
[
"2",
"optimal integer radix is 3",
"[Verified]"
],
[
"3",
"log₂(3) bits per trit",
"[Verified]"
],
[
"5",
"F(n+1)/F(n) → phi",
"[Verified]"
]
]
},
{
"kind": "p",
"text": "And all four are textbook. Euclid defined the ratio; radix economy is decades old; Kepler had the Fibonacci limit. Citing them correctly is not a loss — a paper that sources its results is stronger than one that appears to have derived everything."
},
{
"kind": "h",
"text": "One was false as stated"
},
{
"kind": "p",
"text": "Theorem 4 said ternary binding is its own inverse: unbind(bind(a,b),b) = a. Its own Step 1 defines binding as integer multiplication on {-1,0,+1}, and under exactly that definition zero is an annihilator — 0 × a = 0 for every a, and nothing recovers a from it."
},
{
"kind": "p",
"text": "It fails in 2 of 9 per-position cases and in every vector trial at every dimension tested. Narrowed rather than deleted: binding is invertible on the support of b and destroys everything outside it. That is more useful than the false general form, because it says where the information goes."
},
{
"kind": "h",
"text": "Two headings claimed more than the work"
},
{
"kind": "p",
"text": "Theorem 7 claimed uniqueness of an ansatz. Uniqueness is the strongest word available and the claim never states the domain it is unique over — \"all forms with at most five free parameters\" is uncountable if the parameters are real, so no search establishes it there. Renamed to Observation 7: the fit resolves the ansatz within the family actually searched, which is true and is not uniqueness."
},
{
"kind": "p",
"text": "Theorem 8 proves what Theorem 2 proves. Two headings for one result overstate how much is established. Marked as a duplicate rather than deleted, so the numbering holds and a reader looking for it finds the note."
},
{
"kind": "h",
"text": "And one is a coincidence worth stating as one"
},
{
"kind": "p",
"text": "Theorem 6: dim(E8) = 3⁵ + 5 = 248. The arithmetic holds and 248 is standard, but the real derivation is rank 8 + 240 roots, and base 3 carries no group-theoretic content."
},
{
"kind": "p",
"text": "What makes it worth keeping is the search: 248 = bᵉ + k has exactly one solution for b ≤ 16, e in 2..8, k ≤ 20. Widening the net fourfold produced no second. That is a real, cheap, falsifiable statement — and a rare coincidence is still not a mechanism. Labelled [Empirical fit] with the search space stated."
},
{
"kind": "h",
"text": "The pattern"
},
{
"kind": "p",
"text": "Not one defect was in a measurement. Every arithmetic claim that could be computed came back exact, including the ones I expected to wobble. What was wrong, three times, was what a heading claimed about a result that was itself fine."
},
{
"kind": "p",
"text": "A theorem needs a derivation connecting its terms. A true equation is not a theorem, \"unique\" needs a domain, and two headings for one result is a claim about quantity. All three are free to fix and none of them costs a number."
}
]

export const ruBody: Block[] = [
{
"kind": "p",
"text": "Свод содержал восемь пронумерованных теорем. Я перечитал каждую против её доказательства, не против памяти о ней. Четыре устояли без правок."
},
{
"kind": "h",
"text": "Теорема 4 — сужена"
},
{
"kind": "p",
"text": "Утверждение было сформулировано для всех элементов. Доказательство молча предполагало обратимость: ноль аннулирует произведение, и шаг, делящий на него, неверен ровно в этой точке."
},
{
"kind": "quote",
"text": "Теорема осталась истинной; ложной была её область. Сужение — это не отзыв, а восстановление той границы, внутри которой доказательство действительно работает."
},
{
"kind": "p",
"text": "Практической разницы почти нет: нулевой элемент в этом контексте почти не встречается. Но «почти не встречается» — свойство входных данных, а не теоремы, и потому не может стоять в её формулировке."
},
{
"kind": "h",
"text": "Теорема 7 — перестала быть теоремой"
},
{
"kind": "p",
"text": "То, что было записано как доказательство, оказалось изложением наблюдения: величина ведёт себя так на всех проверенных случаях. Проверенных случаев было конечное число, и общего шага в рассуждении не было."
},
{
"kind": "p",
"text": "Переименована в «Наблюдение 7». Содержание не изменилось ни на слово — изменилась только этикетка, и это единственное, что было неверно."
},
{
"kind": "h",
"text": "Теорема 8 — дубликат Теоремы 2"
},
{
"kind": "p",
"text": "Разные обозначения, разный путь доказательства, то же утверждение. Два доказательства одного факта — обычное дело и часто полезное. Дефектом была нумерация их как двух независимых результатов, отчего свод выглядел на один результат богаче, чем есть."
},
{
"kind": "h",
"text": "Что даёт ревизия"
},
{
"kind": "p",
"text": "Ни одна из трёх правок не пришла извне. Все три видны при чтении собственного текста рядом с собственным доказательством — и ни одна не была видна при чтении заголовков."
},
{
"kind": "quote",
"text": "Свод, который никто не перечитывал, не есть проверенный свод. Он есть список намерений, набранный шрифтом уверенности."
},
{
"kind": "p",
"text": "Устоявшие теперь стоят прочнее, чем восемь до ревизии: про каждую известно, что её читали с намерением сломать, и она не сломалась."
}
]
Loading
Loading