Π‘ΡΠ°ΡΡΠ°ΠΏ Subquadratic ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΠΈΠ» ΠΠ-ΠΌΠΎΠ΄Π΅Π»Ρ SubQ Π±Π΅Π· dense attention
Π‘ΡΠ°ΡΡΠ°ΠΏ Subquadratic ΠΈΠ· ΠΠ°ΠΉΠ°ΠΌΠΈ ΠΎΠ±ΡΡΠ²ΠΈΠ» ΠΎ Π²ΡΡ ΠΎΠ΄Π΅ ΠΈΠ· ΡΠΊΡΡΡΠΎΠ³ΠΎ ΡΠ΅ΠΆΠΈΠΌΠ° ΠΈ ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΠΈΠ» ΡΠ·ΡΠΊΠΎΠ²ΡΡ ΠΌΠΎΠ΄Π΅Π»Ρ SubQ, ΠΊΠΎΡΠΎΡΠ°Ρ, ΠΏΠΎ Π·Π°ΡΠ²Π»Π΅Π½ΠΈΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ, ΡΠ½ΠΈΠΌΠ°Π΅Ρ ΠΎΠ΄Π½ΠΎ ΠΈΠ· Π³Π»Π°Π²Π½ΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½ΠΈΠΉ ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ LLM ΠΏΡΠΈ ΡΠ°Π±ΠΎΡΠ΅ Ρ Π΄Π»ΠΈΠ½Π½ΡΠΌ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠΎΠΌ.

Π Π°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊ ΡΡΠ²Π΅ΡΠΆΠ΄Π°Π΅Ρ, ΡΡΠΎ ΠΌΠΎΠ΄Π΅Π»Ρ ΠΎΡΠΊΠ°Π·ΡΠ²Π°Π΅ΡΡΡ ΠΎΡ ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΠΎΠ³ΠΎ dense attention Π² ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ°Ρ , Π·Π° ΡΡΡΡ ΡΠ΅Π³ΠΎ Π·Π°ΠΌΠ΅ΡΠ½ΠΎ ΡΠ½ΠΈΠΆΠ°Π΅Ρ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ Π·Π°ΡΡΠ°ΡΡ ΠΈ ΡΡΠΊΠΎΡΡΠ΅Ρ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΡ Π±ΠΎΠ»ΡΡΠΈΡ ΠΌΠ°ΡΡΠΈΠ²ΠΎΠ² ΡΠ΅ΠΊΡΡΠ°. ΠΠ»Π°Π²Π½Π°Ρ ΠΎΠ³ΠΎΠ²ΠΎΡΠΊΠ° Π² ΡΠΎΠΌ, ΡΡΠΎ Π½Π΅Π·Π°Π²ΠΈΡΠΈΠΌΡΡ ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π΅Π½ΠΈΠΉ Ρ ΡΡΠΈΡ Π·Π°ΡΠ²Π»Π΅Π½ΠΈΠΉ ΠΏΠΎΠΊΠ° Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ, Π° Π΄ΠΎΡΡΡΠΏ ΠΊ ΡΠΈΡΡΠ΅ΠΌΠ΅ ΠΎΡΡΠ°Π΅ΡΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½Π½ΡΠΌ.
Subquadratic Π³ΠΎΠ²ΠΎΡΠΈΡ, ΡΡΠΎ SubQ ΡΠΏΠΎΡΠΎΠ±Π½Π° ΠΎΠ±ΡΠ°Π±Π°ΡΡΠ²Π°ΡΡ Π΄ΠΎ 12 ΠΌΠ»Π½ ΡΠΎΠΊΠ΅Π½ΠΎΠ² ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ°. ΠΠ»Ρ ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ, Ρ Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π° ΠΊΠΎΠΌΠΌΠ΅ΡΡΠ΅ΡΠΊΠΈΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π²Π΅ΡΡ Π½ΡΡ ΠΏΠ»Π°Π½ΠΊΠ° ΠΈΠ·ΠΌΠ΅ΡΡΠ΅ΡΡΡ ΡΠΎΡΠ½ΡΠΌΠΈ ΡΡΡΡΡ ΡΠΎΠΊΠ΅Π½ΠΎΠ², Π° ΡΡΠ±Π΅ΠΆ Π² 1 ΠΌΠ»Π½ ΡΠΎΠΊΠ΅Π½ΠΎΠ² Π΄Π°ΠΆΠ΅ Π² 2025-2026 Π³ΠΎΠ΄Π°Ρ ΠΎΡΡΠ°Π΅ΡΡΡ ΡΠΊΠΎΡΠ΅Π΅ Π²ΠΈΡΡΠΈΠ½Π½ΠΎΠΉ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡΡ ΠΊΡΡΠΏΠ½ΡΡ ΠΈΠ³ΡΠΎΠΊΠΎΠ² Π²ΡΠΎΠ΄Π΅ Google ΠΈ Anthropic, ΡΠ΅ΠΌ ΠΎΡΡΠ°ΡΠ»Π΅Π²ΡΠΌ ΡΡΠ°Π½Π΄Π°ΡΡΠΎΠΌ. ΠΠΎΠΌΠΏΠ°Π½ΠΈΡ Π΄Π΅Π»Π°Π΅Ρ ΡΡΠ°Π²ΠΊΡ Π½Π° ΡΡΠ΅Π½Π°ΡΠΈΠΈ, Π³Π΄Π΅ ΠΌΠΎΠ΄Π΅Π»Ρ Π΄ΠΎΠ»ΠΆΠ½Π° Π·Π° ΠΎΠ΄ΠΈΠ½ ΠΏΡΠΎΡ ΠΎΠ΄ ΡΠΈΡΠ°ΡΡ Π±ΠΎΠ»ΡΡΠΈΠ΅ ΠΊΠΎΠ΄ΠΎΠ²ΡΠ΅ Π±Π°Π·Ρ, ΠΌΠ°ΡΡΠΈΠ²Ρ Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠΎΠ² ΠΈΠ»ΠΈ ΡΠΎΡΠ½ΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ².
Π’Π΅Ρ Π½ΠΈΡΠ΅ΡΠΊΠΈ ΡΠ΅ΡΡ ΠΈΠ΄Π΅Ρ ΠΎ Π·Π°ΠΌΠ΅Π½Π΅ ΠΏΠ»ΠΎΡΠ½ΠΎΠ³ΠΎ ΠΌΠ΅Ρ Π°Π½ΠΈΠ·ΠΌΠ° Π²Π½ΠΈΠΌΠ°Π½ΠΈΡ ΡΠ°Π·ΡΠ΅ΠΆΠ΅Π½Π½ΡΠΌ. Π ΠΊΠ»Π°ΡΡΠΈΡΠ΅ΡΠΊΠΎΠΌ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ΅ ΠΊΠ°ΠΆΠ΄ΡΠΉ ΡΠΎΠΊΠ΅Π½ ΡΠΎΠΏΠΎΡΡΠ°Π²Π»ΡΠ΅ΡΡΡ ΡΠΎ Π²ΡΠ΅ΠΌΠΈ ΠΎΡΡΠ°Π»ΡΠ½ΡΠΌΠΈ, ΠΈ Ρ ΡΠΎΡΡΠΎΠΌ Π΄Π»ΠΈΠ½Ρ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ° Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½Π°Ρ Π½Π°Π³ΡΡΠ·ΠΊΠ° ΡΠ°ΡΡΠ΅Ρ ΠΊΠ²Π°Π΄ΡΠ°ΡΠΈΡΠ½ΠΎ. Subquadratic ΡΡΠ²Π΅ΡΠΆΠ΄Π°Π΅Ρ, ΡΡΠΎ SubQ Π²ΡΠ±ΠΈΡΠ°Π΅Ρ ΡΠΎΠ»ΡΠΊΠΎ ΡΠ°ΡΡΡ Π½ΡΠΆΠ½ΡΡ ΡΠ²ΡΠ·Π΅ΠΉ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠΎΠΊΠ΅Π½Π°ΠΌΠΈ ΠΈ ΡΠ΅ΠΌ ΡΠ°ΠΌΡΠΌ ΡΠΎΠΊΡΠ°ΡΠ°Π΅Ρ ΠΎΠ±ΡΠ΅ΠΌ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΠΉ Π±Π΅Π· Π·Π°ΠΌΠ΅ΡΠ½ΠΎΠΉ ΠΏΠΎΡΠ΅ΡΠΈ ΠΊΠ°ΡΠ΅ΡΡΠ²Π° Π½Π° ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΡ Π·Π°Π΄Π°ΡΠ°Ρ .
Π ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π΅Π½ΠΈΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ ΡΡΡΠ»Π°Π΅ΡΡΡ Π½Π° ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΠ΅ ΡΠ΅ΡΡΡ ΠΈ Π½Π° ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ Π²Π½Π΅ΡΠ½Π΅ΠΉ ΠΎΡΠ΅Π½ΠΊΠΈ ΠΎΡ Appen. ΠΠΎ ΡΡΠΈΠΌ Π΄Π°Π½Π½ΡΠΌ, ΠΌΠΎΠ΄Π΅Π»Ρ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°Π΅Ρ ΠΊΡΠ°ΡΠ½ΡΠΉ Π²ΡΠΈΠ³ΡΡΡ ΠΏΠΎ ΡΠΊΠΎΡΠΎΡΡΠΈ ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΠΉ Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅ FlashAttention ΠΈ ΠΊΠΎΠ½ΠΊΡΡΠ΅Π½ΡΠ½ΡΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ Π² Π·Π°Π΄Π°ΡΠ°Ρ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π½Π° LiveCodeBench. ΠΡΠΎ ΠΏΠΎΠ»Π΅Π·Π½ΡΠ΅ ΠΎΡΠΈΠ΅Π½ΡΠΈΡΡ, Ρ ΠΎΡΡ ΠΎΠ½ΠΈ Π½Π΅ ΠΎΡΠ²Π΅ΡΠ°ΡΡ Π½Π° Π³Π»Π°Π²Π½ΡΠΉ Π²ΠΎΠΏΡΠΎΡ: ΠΊΠ°ΠΊ ΡΠΈΡΡΠ΅ΠΌΠ° ΠΏΠΎΠ²Π΅Π΄Π΅Ρ ΡΠ΅Π±Ρ Π² ΡΠ΅Π°Π»ΡΠ½ΠΎΠΉ ΡΠΊΡΠΏΠ»ΡΠ°ΡΠ°ΡΠΈΠΈ, Π³Π΄Π΅ Π²Π°ΠΆΠ½Ρ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ ΡΠΊΠΎΡΠΎΡΡΡ ΠΈ Π΄Π»ΠΈΠ½Π° ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ°, Π½ΠΎ ΠΈ ΡΡΡΠΎΠΉΡΠΈΠ²ΠΎΡΡΡ ΠΊΠ°ΡΠ΅ΡΡΠ²Π°, ΡΠ΅Π½Π° ΠΈΠ½ΡΠ΅ΡΠ΅Π½ΡΠ° ΠΈ ΠΏΡΠ΅Π΄ΡΠΊΠ°Π·ΡΠ΅ΠΌΠΎΡΡΡ Π½Π° ΡΠΌΠ΅ΡΠ°Π½Π½ΡΡ ΡΠ°Π±ΠΎΡΠΈΡ Π½Π°Π³ΡΡΠ·ΠΊΠ°Ρ .
ΠΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΏΠΎΠ²ΠΎΠ΄ Π΄Π»Ρ ΠΎΡΡΠΎΡΠΎΠΆΠ½ΠΎΡΡΠΈ ΡΠ²ΡΠ·Π°Π½ Ρ ΠΏΡΠΎΠΈΡΡ ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ΠΌ ΠΌΠΎΠ΄Π΅Π»ΠΈ. Subquadratic Π½Π΅ ΡΡΡΠΎΠΈΡ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΡ Ρ Π½ΡΠ»Ρ Π² Π²Π°ΠΊΡΡΠΌΠ΅, Π° ΡΠ°ΡΡΠΈΡΠ½ΠΎ ΠΎΠΏΠΈΡΠ°Π΅ΡΡΡ Π½Π° ΠΎΡΠΊΡΡΡΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΡΠ΅ΠΌΠ΅ΠΉΡΡΠ²Π° Qwen ΠΈ Π°Π΄Π°ΠΏΡΠΈΡΡΠ΅Ρ ΠΈΡ ΠΏΠΎΠ΄ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΠΉ ΠΏΠΎΠ΄Ρ ΠΎΠ΄. ΠΡΠΎ Π½ΠΎΡΠΌΠ°Π»ΡΠ½Π°Ρ ΠΏΡΠ°ΠΊΡΠΈΠΊΠ° Π΄Π»Ρ ΠΎΡΡΠ°ΡΠ»ΠΈ, ΠΎΠ΄Π½Π°ΠΊΠΎ ΡΠΎΡΠΌΡΠ»ΠΈΡΠΎΠ²ΠΊΠ° ΠΎ ΠΏΠΎΠ»Π½ΠΎΠΉ Π·Π°ΠΌΠ΅Π½Π΅ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠΎΠ² Π² ΡΠ°ΠΊΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ Π·Π²ΡΡΠΈΡ ΡΠΈΠ»ΡΠ½Π΅Π΅, ΡΠ΅ΠΌ Π΄ΠΎΡΡΡΠΏΠ½Π°Ρ ΡΠ΅Π³ΠΎΠ΄Π½Ρ ΡΠ°ΠΊΡΡΡΠ°.
ΠΠ°ΠΊ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ SubQ Π±Π΅Π· dense attention
ΠΡΠΎΠ±Π»Π΅ΠΌΠ°, Π½Π° ΠΊΠΎΡΠΎΡΡΡ ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ Subquadratic, ΠΈΠ·Π²Π΅ΡΡΠ½Π° Π΄Π°Π²Π½ΠΎ. ΠΠΎΡΠ»Π΅ ΡΡΠ°ΡΡΠΈ Β«Attention Is All You NeedΒ» 2017 Π³ΠΎΠ΄Π° ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΡ ΡΡΠ°Π»ΠΈ Π±Π°Π·ΠΎΠ²ΠΎΠΉ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΠΎΠΉ Π΄Π»Ρ Π±ΠΎΠ»ΡΡΠΈΡ ΡΠ·ΡΠΊΠΎΠ²ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° ΠΊΠ²Π°Π΄ΡΠ°ΡΠΈΡΠ½Π°Ρ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΡ Π²Π½ΠΈΠΌΠ°Π½ΠΈΡ Π±ΡΡΡΡΠΎ ΠΏΡΠ΅Π²ΡΠ°ΡΠΈΠ»Π°ΡΡ Π² ΠΈΡ ΡΠ·ΠΊΠΎΠ΅ ΠΌΠ΅ΡΡΠΎ ΠΏΡΠΈ Π΄Π»ΠΈΠ½Π½ΡΡ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ°Ρ . ΠΠΎΡΠ»Π΅Π΄Π½ΠΈΠ΅ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ Π»Π΅Ρ ΠΈΠ½Π΄ΡΡΡΡΠΈΡ ΠΏΡΡΠ°Π΅ΡΡΡ Π»Π΅ΡΠΈΡΡ ΡΡΠΎ ΠΌΠ΅ΡΡΠΎ ΡΠ°Π·Π½ΡΠΌΠΈ ΡΠΏΠΎΡΠΎΠ±Π°ΠΌΠΈ: ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠ΅ΠΉ kernels, ΡΠΆΠ°ΡΠΈΠ΅ΠΌ ΠΏΠ°ΠΌΡΡΠΈ, ΡΠ°Π·ΡΠ΅ΠΆΠ΅Π½Π½ΡΠΌ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ΠΌ ΠΈ Π³ΠΈΠ±ΡΠΈΠ΄Π½ΡΠΌΠΈ ΡΡ Π΅ΠΌΠ°ΠΌΠΈ ΠΌΠ°ΡΡΡΡΡΠΈΠ·Π°ΡΠΈΠΈ.
ΠΠΎΡΡΠΎΠΌΡ ΡΠ°ΠΌΠ° ΠΈΠ΄Π΅Ρ sparse attention Π½Π΅ Π½ΠΎΠ²Π°. Π Π°Π½Π΅Π΅ ΠΏΠΎΡ ΠΎΠΆΠΈΠ΅ ΠΏΠΎΠ΄Ρ ΠΎΠ΄Ρ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π»ΠΈ Longformer, BigBird ΠΈ ΡΡΠ΄ Π°ΠΊΠ°Π΄Π΅ΠΌΠΈΡΠ΅ΡΠΊΠΈΡ ΡΠ°Π±ΠΎΡ, Π° Π² ΠΊΠΎΠΌΠΌΠ΅ΡΡΠ΅ΡΠΊΠΈΡ ΡΠΈΡΡΠ΅ΠΌΠ°Ρ ΡΠ»Π΅ΠΌΠ΅Π½ΡΡ ΡΠ°Π·ΡΠ΅ΠΆΠ΅Π½ΠΈΡ ΠΈ Π»ΠΎΠΊΠ°Π»ΡΠ½ΠΎΠ³ΠΎ Π²Π½ΠΈΠΌΠ°Π½ΠΈΡ ΠΏΡΠΈΠΌΠ΅Π½ΡΠ»ΠΈΡΡ Π΄Π»Ρ ΡΡΠΊΠΎΡΠ΅Π½ΠΈΡ Π΄Π»ΠΈΠ½Π½ΡΡ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎΡΡΠ΅ΠΉ. Π Π°Π·Π½ΠΈΡΠ° Π² ΡΠΎΠΌ, ΡΡΠΎ Subquadratic Π·Π°ΡΠ²Π»ΡΠ΅Ρ Π½Π΅ Π»ΠΎΠΊΠ°Π»ΡΠ½ΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΡ, Π° Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΠ½ΡΠΉ ΡΠΊΠ°ΡΠΎΠΊ, ΠΊΠΎΡΠΎΡΡΠΉ ΡΠΊΠΎΠ±Ρ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΠΎΠ²ΠΌΠ΅ΡΡΠΈΡΡ Π΄Π»ΠΈΠ½Π½ΡΠΉ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡ, Π²ΡΡΠΎΠΊΡΡ ΡΠΊΠΎΡΠΎΡΡΡ ΠΈ ΠΏΡΠΈΠ΅ΠΌΠ»Π΅ΠΌΠΎΠ΅ ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎ Π½Π° ΡΠ½ΠΈΠ²Π΅ΡΡΠ°Π»ΡΠ½ΡΡ Π·Π°Π΄Π°ΡΠ°Ρ .
Π‘ΠΊΠ΅ΠΏΡΠΈΡ ΠΎΠ±ΡΡΡΠ½ΠΈΠΌ Π΅ΡΠ΅ ΠΈ ΡΠ΅ΠΌ, ΡΡΠΎ ΡΡΠ½ΠΎΠΊ ΠΠ ΡΠΆΠ΅ Π²ΠΈΠ΄Π΅Π» Π³ΡΠΎΠΌΠΊΠΈΠ΅ Π·Π°ΡΠ²Π»Π΅Π½ΠΈΡ ΠΎ Β«ΡΠ»ΠΎΠΌΠ°Π½Π½ΡΡ Β» ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½ΠΈΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, ΠΊΠΎΡΠΎΡΡΠ΅ Π·Π°ΡΠ΅ΠΌ ΡΠΏΠΈΡΠ°Π»ΠΈΡΡ Π² Π΄Π΅ΡΠ°Π»ΠΈ ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΠΈ. ΠΠ»ΠΈΠ½Π° ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ° ΡΠ°ΠΌΠ° ΠΏΠΎ ΡΠ΅Π±Π΅ Π½Π΅ Π³Π°ΡΠ°Π½ΡΠΈΡΡΠ΅Ρ ΠΊΠ°ΡΠ΅ΡΡΠ²Π°. ΠΠΎΠ΄Π΅Π»Ρ ΠΌΠΎΠΆΠ΅Ρ ΡΠΌΠ΅ΡΡΠΈΡΡ ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Ρ ΡΠΎΠΊΠ΅Π½ΠΎΠ² Π²ΠΎ Π²Ρ ΠΎΠ΄Π΅, Π½ΠΎ ΡΠ΅ΡΡΡΡ ΡΠ΅Π»Π΅Π²Π°Π½ΡΠ½ΠΎΡΡΡ ΠΏΡΠΈ ΠΏΠΎΠΈΡΠΊΠ΅ Π½ΡΠΆΠ½ΡΡ ΡΡΠ°Π³ΠΌΠ΅Π½ΡΠΎΠ², ΡΡ ΡΠ΄ΡΠ°ΡΡ ΡΠΎΡΠ½ΠΎΡΡΡ ΡΠ°ΡΡΡΠΆΠ΄Π΅Π½ΠΈΠΉ ΠΈΠ»ΠΈ ΡΠ΅Π·ΠΊΠΎ Π΄ΠΎΡΠΎΠΆΠ°ΡΡ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΡ Π½Π°Π³ΡΡΠ·ΠΊΠ°Ρ . ΠΠΎ Π½Π°ΡΠΈΠΌ Π΄Π°Π½Π½ΡΠΌ, ΠΊΠΎΡΠΏΠΎΡΠ°ΡΠΈΠ²Π½ΡΠ΅ Π·Π°ΠΊΠ°Π·ΡΠΈΠΊΠΈ ΠΎΠ±ΡΡΠ½ΠΎ ΡΠΌΠΎΡΡΡΡ Π½Π΅ Π½Π° ΡΠ΅ΠΊΠΎΡΠ΄ Π² ΡΠΎΠΊΠ΅Π½Π°Ρ , Π° Π½Π° ΡΠ΅Π½Ρ ΠΎΠ΄Π½ΠΎΠΉ ΡΠΈΠΏΠΎΠ²ΠΎΠΉ Π·Π°Π΄Π°ΡΠΈ ΠΈ ΡΡΠ°Π±ΠΈΠ»ΡΠ½ΠΎΡΡΡ ΠΎΡΠ²Π΅ΡΠ° Π½Π° ΠΏΠΎΠ²ΡΠΎΡΡΠ΅ΠΌΡΡ ΡΡΠ΅Π½Π°ΡΠΈΡΡ .
ΠΠΌΠ΅Π½Π½ΠΎ Π·Π΄Π΅ΡΡ Ρ SubQ ΠΏΠΎΠΊΠ° ΠΎΡΡΠ°Π΅ΡΡΡ Π±Π΅Π»ΠΎΠ΅ ΠΏΡΡΠ½ΠΎ. ΠΠΎΠΌΠΏΠ°Π½ΠΈΡ ΠΎΡΠΊΡΡΠ»Π° ΠΌΠΎΠ΄Π΅Π»Ρ Π»ΠΈΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½Π½ΠΎΠΌΡ ΠΊΡΡΠ³Ρ ΠΊΠ»ΠΈΠ΅Π½ΡΠΎΠ² ΠΈ Π½Π΅ Π΄Π°Π»Π° ΡΡΠ½ΠΊΡ ΠΏΠΎΠ»Π½ΠΎΡΠ΅Π½Π½ΠΎΠ³ΠΎ ΠΏΡΠ±Π»ΠΈΡΠ½ΠΎΠ³ΠΎ Π΄ΠΎΡΡΡΠΏΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ» Π±Ρ Π²ΠΎΡΠΏΡΠΎΠΈΠ·Π²Π΅ΡΡΠΈ ΡΠ΅ΡΡΡ. ΠΠ»Ρ ΡΡΠ°ΡΡΠ°ΠΏΠ° ΡΡΠΎ ΠΎΠ±ΡΡΡΠ½ΠΈΠΌΠΎ Π΄Π΅ΡΠΈΡΠΈΡΠΎΠΌ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΡΡ ΡΠ΅ΡΡΡΡΠΎΠ², Ρ ΠΎΡΡ Π΄Π»Ρ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΡ Π·Π°ΡΠ²Π»Π΅Π½ΠΈΠΉ ΡΡΠΎ Ρ ΡΠ΄ΡΠΈΠΉ ΡΠ΅ΠΆΠΈΠΌ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ: ΠΈΠ½Π΄ΡΡΡΡΠΈΡ ΠΎΡ ΠΎΡΠ½ΠΎ ΠΎΠ±ΡΡΠΆΠ΄Π°Π΅Ρ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΡ Π½Π° Π±ΡΠΌΠ°Π³Π΅, Π½ΠΎ ΠΏΡΠΈΠ½ΠΈΠΌΠ°Π΅Ρ ΠΈΡ ΡΠΎΠ»ΡΠΊΠΎ ΠΏΠΎΡΠ»Π΅ Π½Π΅Π·Π°Π²ΠΈΡΠΈΠΌΡΡ ΠΏΡΠΎΠ³ΠΎΠ½ΠΎΠ² ΠΈ ΠΈΠ½ΡΠ΅Π³ΡΠ°ΡΠΈΠΉ Ρ ΠΊΡΡΠΏΠ½ΡΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ.
ΠΡΠ»ΠΈ Subquadratic ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠ΄ΠΈΡ Π·Π°ΡΠ²Π»Π΅Π½Π½ΡΠ΅ ΠΌΠ΅ΡΡΠΈΠΊΠΈ Π²Π½Π΅ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΡ Π΄Π΅ΠΌΠΎΠ½ΡΡΡΠ°ΡΠΈΠΉ, ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ ΠΌΠΎΠΆΠ΅Ρ ΠΏΠΎΠΏΠ°ΡΡΡ Π² ΡΠ·ΠΊΠΈΠΉ, Π½ΠΎ Π΄Π΅Π½Π΅ΠΆΠ½ΡΠΉ ΡΠ΅Π³ΠΌΠ΅Π½Ρ ΠΊΠΎΡΠΏΠΎΡΠ°ΡΠΈΠ²Π½ΡΡ ΡΠΈΡΡΠ΅ΠΌ Π΄Π»Ρ Π°Π½Π°Π»ΠΈΠ·Π° Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² ΠΈ ΠΊΠΎΠ΄Π°, Π³Π΄Π΅ Π΄Π»ΠΈΠ½Π½ΡΠΉ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡ Π½Π°ΠΏΡΡΠΌΡΡ Π²Π»ΠΈΡΠ΅Ρ Π½Π° ΡΠΊΠΎΠ½ΠΎΠΌΠΈΠΊΡ Π²Π½Π΅Π΄ΡΠ΅Π½ΠΈΡ. ΠΠΎΠ½ΠΊΡΡΠ΅Π½ΡΠΈΡ ΡΠ°ΠΌ ΡΠΆΠ΅ ΠΏΠ»ΠΎΡΠ½Π°Ρ: Google, Anthropic ΠΈ OpenAI Π½Π°ΡΠ°ΡΠΈΠ²Π°ΡΡ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ½ΡΠ΅ ΠΎΠΊΠ½Π° Π² ΡΡΡΠ΅ΡΡΠ²ΡΡΡΠΈΡ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ½ΡΡ ΠΌΠΎΠ΄Π΅Π»ΡΡ , Π° Nvidia ΠΈ ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊΠΈ inference-ΡΡΠ΅ΠΊΠ° ΡΠ½ΠΈΠΆΠ°ΡΡ ΡΡΠΎΠΈΠΌΠΎΡΡΡ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ Π·Π° ΡΡΠ΅Ρ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΉ Π½Π° ΡΡΠΎΠ²Π½Π΅ ΠΈΠ½ΡΡΠ°ΡΡΡΡΠΊΡΡΡΡ. ΠΠΎΡΡΠΎΠΌΡ Π±Π»ΠΈΠΆΠ°ΠΉΡΠ°Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠ° Π΄Π»Ρ SubQ Π±ΡΠ΄Π΅Ρ ΠΏΡΠΎΡΡΠΎΠΉ: ΡΠΌΠΎΠΆΠ΅Ρ Π»ΠΈ ΡΡΠ°ΡΡΠ°ΠΏ ΠΏΠΎΠΊΠ°Π·Π°ΡΡ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ ΠΊΡΠ°ΡΠΈΠ²ΡΠΉ Π±Π΅Π½ΡΠΌΠ°ΡΠΊ, Π½ΠΎ ΠΈ Π²ΠΎΡΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΠΌΡΡ ΡΠ΅Π½Ρ Π΄Π»ΠΈΠ½Π½ΠΎΠ³ΠΎ Π·Π°ΠΏΡΠΎΡΠ° Ρ ΡΠ΅Π°Π»ΡΠ½ΡΡ ΠΊΠ»ΠΈΠ΅Π½ΡΠΎΠ².


