光なまずブログ

理解についての問いとclaudeとの対話。 今日の思いつき。理解を定量化し、より良くするには？ ## 序. 問いの出発点 LLMのトークン量に対する能力の向上には、崖、あるいは少なくともシグモイド型の急峻な変化があるのではないか——という観察から、この考察は始まった。重みや出力関数という個々の「素粒子」が、ある複雑さ・規模のレイヤーを持つと、環境に沿った応答ができるようになるのではないか。この直感を生命の起源にまで延長すると、密度がある程度あり、かつ流動し、エントロピーが動的平衡から外れた状態にある系で、構成要素が条件を満たしたときに環境に合った組織化が起こるのではないか、というのが当初の仮説だった。 --- ## Stage 1. LLMのスケーリング則における「崖」 学習損失（loss）そのものは、Kaplan(2020)やHoffmann(Chinchilla, 2022)の研究により、パラメータ数・データ量・計算量に対してベキ乗則で滑らかに減少することが分かっている。ここには崖は存在しない。一方で、下流タスクの性能はスケールに対して不連続に見え、Wei et al.(2022)はこれを「創発的能力」と呼んだ。 ここに対する重要な反論がSchaeffer et al.(2023)の「創発は測定指標のミラージュ（幻想）である」という主張である。正解/不正解のような**離散的な指標**では急な崖に見えても、正解確率のような**連続的な指標**では滑らかな変化として現れる、というものだ。加えて、多くの図が横軸を対数スケールで描いているため、線形軸に直せば「崖」はかなり間延びしたシグモイドに近い形になる、という指摘もある。 **なまぽよさんの見解**：崖という比喩は正確ではなく、実態はシグモイドだと考える。 **補足**：この直感は測定上のバイアス（対数プロット）の指摘とも整合し、少なくとも「垂直な崖」という強い主張よりは、現在の実証的知見とよく合っている。 --- ## Stage 2. 「解釈」を原始的な物理量に還元する 「理解」「解釈」は本質的に多次元的で、定量指標を欠く概念である。論文の中でも、この定量化の困難さそのものが「創発」という幻想の崖を作っているという批判がある。 **なまぽよさんの再定式化**：「解釈」をもっと原始的な言葉に言い直すと——エネルギー...

We have released the English version of the doujinshi, "Building a Brainfuck CPU Winter 2025: Building an Intel i4004 with GaN-HEMTs" , originally distributed at Winter Comic Market 2025. You can download it here: https://drive.google.com/file/d/1J5IHcWFOrMQyqohodx43ZI5SqiWI7w1V/view?usp=sharing The physical books distributed at Comic Market are available for purchase on BOOTH (Japanese version only). https://optsemicomparai.booth.pm/items/7888529 Building a Brainfuck CPU Winter 2025: Building an Intel i4004 with GaN-HEMTs https://optsemicomparai.booth.pm/items/7888537 Building a Brainfuck CPU 3 (Summer Comic Market 106, 2025 【日本語】 2025年冬のコミックマーケットで配布いたしました同人誌、"BrainfuckCPUを作りたい本2025冬Intel i4004をGaN-HEMTで作りたい本"の英語版を作成しました。 ダウンロードはこちらから。 https://drive.google.com/file/d/1J5IHcWFOrMQyqohodx43ZI5SqiWI7w1V/view?usp=sharing コミックマーケットで配布した本の販売はboothで行っております。日本語版です。 https://optsemicomparai.booth.pm/items/7888529 BrainfuckCPUを作りたい本2025冬Intel i4004をGaN-HEMTで作りたい本 https://op...

 CPUにはデータの流れを制御するデコーダがあります。 データそのものはフリップフロップと加算器を周回することで処理していきますが、どのデータをどこから移し、減算するのか加算するのかをプログラムに従って制御信号を各部に送出するための機能ブロックがデコーダーです。 Logisim-evolutionでの構築結果から、このCPUでのデコーダーはROMからの3bitとプログラム方向判定、データゼロ判定、カッコ判定、カッコ深さ、入出力を用意しました。 実際のハード実装では、入力bitと入力反転bitに対しダイオードNANDを構成し、更にORでまとめることで実現を考えています。 ここで各部の制御のタイミングを設計しておきたいところなのですが、実際のRAMのWE,OEのタイミングやDFFのエッジタイミングなどが不明確なことが多いため決め切ってしまうと後で改修が難しいのではないかと思いました。 そこで考えたのが960個ジャンパーを用いたデコーダーです。 これならどんなものが来ても対応できますね！ 14bit入力、17bit出力。DTC114で反転バッファとしています。 PLDかFPGAで組めばいいのでは？見た目綺麗だからいいじゃないですか・・・。

 年末にelecrowに注文していました基板が届きました。 実装を楽にするためにロジック基板はステンシルを同時に注文しました。クリームはんだで一気に実装できます。 基板をテープで位置決めし、ステンシルと半田パターンが合うように正確に合わせます。 クリームはんだを置きます。結構固いです。 その後固めのへらで強めに押し付けながらステンシルの穴に伸ばします。ステンシルと基板の隙間ができると不要な場所に入り込んでしまうので、一方向から行います。 その後トランジスタをピンセットで実装します。置くだけなので簡単ですが、トランジスタが密なので隣にピンセットが当たって動いてしまうことがよくありました。ほぼ乗っているだけなので触ったらすぐ動きます。 しかしながら、トランジスタが足りなくなってしまいました。DTA114は山のようにあるのですが、DTC114は100個に一個くらいしかなく実装していくうちに枯渇してしまいました。 3枚クリームはんだを塗ったのですがこれでは乾燥してしまってよくありません。仕方ないのでできる限り実装してリフローをしてしまい、DTC114を購入したら手はんだですることにしました。 実装したら、基板をホットプレートに置いてはんだを溶かします。 これで一枚の基板でのロジックができました。

皆様一度はCPUを作ってみたいなぁと思ったことがあるんじゃないでしょうか？ 普通はそう思うと思います。一家に必ず一台オシロスコープが常備されていますか？そんなわけないでしょう、うちにはあるけど。 Brainfuckとはプログラミング言語の一種で、わずか8つの命令で構成されています。無限のメモリ、無限のテープを想定することでチューリング完全性を持つおそらく最小に近い言語です。 そこで私は考えを温めていました。Brainfuck言語で動くCPUを作ることができるのではないか。 特徴を以下に挙げます。 ・わずか8つの命令（3bitで表現可能） ・アドレスジャンプなど複雑な実装をしなくてもいい ・メモリの加算は+1のみであり、演算ユニットが非常に簡単になる ・RAMさえ用意すれば単純な構成ながら8-16ビット程度の大きな拡張が簡単にできる これらのロジックの簡素に加えて拡張性もあることから、ハードウェア実装が非常に容易になると思いました。 また、Brainfuck言語はその特徴的な簡素さから注目されており、多くのプログラミング例があります。 貧弱な計算能力から、数学的な問題を解く程度に過ぎませんが、ハノイの塔、素数計算から、複素数計算によるマンデルブロー集合まで実装されています。一部にはOS開発が行われています。 私は前からゲルマニウムトランジスタを所持しており、それによってBrainfuckのCPUロジックを作成し、マンデルブロー集合を計算させられないかと思っていました。 ロジックシミュレータであるLogisim-evolutionを用いて動作可能なBrainfuckCPUを作成しました。 そこの知見から、74シリーズのロジックICとRAMを使用してハードウェアロジックでのCPUを実現しました。この時はデコーダのタイミング計算が難しくてArduinoをデコーダ代わりとしました。（たいていの場合制御系の方が早くて複雑です） 動作できるハードウェアから逆算した結果、およそ400個のトランジスタで8ビットのCPUを構成可能であると見出したため、その実現に向けてプロジェクトを温めています。 一気にゲルマニウムトランジスタで実装するには大量の問題が出てきます。速度の遅さ（Ft=1MHz程度）、Tr節約のため、フリップフロップを2Tr構成としたいがかなりトリッキーな回路とタイミングに...