Since the initial release, community contributions have pushed data efficiency from ~2.4x to 5.5x against modded-nanogpt, more than doubling in a few days. The key changes are: shuffling at the start of each epoch, which had outsized impact on multi-epoch training; learned projections for value embeddings instead of separate embedding tables; swapping squared ReLU for SwiGLU activation; and ensembling multiple models. 10x data efficiency seems reachable in the short term. 100x might be feasible by the end of the year, given how many directions remain unexplored, but it will require serious exploration on the algorithms side.
16:22, 27 февраля 2026Интернет и СМИ
，详情可参考体育直播
Глава Пентагона сделал заявление об операции в ИранеХегсет: Операция против Ирана является самой сложной за всю историю
Бахтизин призвал не забывать, что цена нефти определяется не столько геологией, сколько географией и геополитикой, а мировая энергетика постепенно переходит от длинных цепочек поставок к региональным энергетическим контурам, замкнутым на формирующиеся макрорегионы (американский, евразийский и западноевропейский).
Neither the getLastName nor getFirstName call depends on the other