LLM Leaderboard

Не задавался такой целью, но всегда хотел видеть объективные сравнения ИИ моделей. Вот наткнулся (спасибо Den Brown) случайно.

https://www.vellum.ai/llm-leaderboard
https://lmarena.ai/leaderboard

Теперь общая картина немного вырисовывается.

И вот тут еще подборочка
https://xaviercollantes.dev/articles/llm-leaderboards

Dmitry Shnyrev

Не задавался такой целью, но всегда хотел видеть объективные сравнения ИИ моделей. Вот наткнулся (спасибо Den Brown) случайно.

[img]https://xaviercollantes.dev/_next/image?url=%2Fassets%2Fimages%2Fllm-leaderboards%2Fvellum.webp&w=3840&q=75[/img]

https://www.vellum.ai/llm-leaderboard
https://lmarena.ai/leaderboard

Теперь общая картина немного вырисовывается.

И вот тут еще подборочка
https://xaviercollantes.dev/articles/llm-leaderboards

не сравнивал LLM, но могу сказать, что ChatGPT5 сейчас дает реально толковые советы по СФ, на сложные темы, понимая тебе с полуслова, и пишет вполне рабочий код на сложные задачи (может они не самые сложные, но просто ты не знаешь тему, и для тебя они сложные).

С ChatGPT5 сама идея "знаний и обучения" изменились во всех отраслях (люди еще не осознали этого), все консультанты фактически уже не нужны. остался в цене только "практический опыт" - способность что-то делать самому "ручками"

Den Brown

не сравнивал LLM, но могу сказать, что ChatGPT5 сейчас дает реально толковые советы по СФ, на сложные темы, понимая тебе с полуслова, и пишет вполне рабочий код на сложные задачи (может они не самые сложные, но просто ты не знаешь тему, и для тебя они сложные).

С ChatGPT5 сама идея "знаний и обучения" изменились во всех отраслях (люди еще не осознали этого), все консультанты фактически уже не нужны. остался в цене только "практический опыт" - способность что-то делать самому "ручками"

Den Brown

остался в цене только "практический опыт" - способность что-то делать самому "ручками"

Пора делать свой автосервис или слесарную мастерскую

(и весело и грустно одновременно)

Dmitry Shnyrev

[quote="Den Brown"]остался в цене только "практический опыт" - способность что-то делать самому "ручками"[/quote]
Пора делать свой автосервис или слесарную мастерскую :rolling: :so-sad: (и весело и грустно одновременно)

Dmitry Shnyrev

способность что-то делать самому "ручками"

речь об программировании тоже. не все способны, что-то реальное делать, многие были просто "консультанты- говорящие головы". Их время прошло. Теперь все умные как тысяча книг. Важна именно способность что-то делать.

А все эти перемены - это только новые возможности для "рукастых" людей

Den Brown

[quote="Dmitry Shnyrev"]способность что-то делать самому "ручками"[/quote]
речь об программировании тоже. не все способны, что-то реальное делать, многие были просто "консультанты- говорящие головы". Их время прошло. Теперь [b]все умные как тысяча книг[/b]. Важна именно способность что-то делать.

А все эти перемены - это только новые возможности для "рукастых" людей