относительно свежая модель Mercury 2 - типа самый быстрый стрелок Дикого Запада? скорость 1000 токенов в секунду 
https://www.inceptionlabs.ai/models
можно попробовать бесплатно, чат\api 10 million free tokens (результат не проверял, но отвечает очень быстро
)
https://www.inceptionlabs.ai/models
можно попробовать бесплатно, чат\api 10 million free tokens (результат не проверял, но отвечает очень быстро
)
кто локально вайбкодит - как вам рабочая лощадь из 4х 5060Ti 16Gb?
64 гектара видеопамяьти при NVFP4 квантовании "аналогично" 256Gb fp16 за смешные деньги, но чтобы полный профит получить надо чтобы количество одновременных агентов было тоже 4. Иначе весь профит сьедает PCIE x8 v4
64 гектара видеопамяьти при NVFP4 квантовании "аналогично" 256Gb fp16 за смешные деньги, но чтобы полный профит получить надо чтобы количество одновременных агентов было тоже 4. Иначе весь профит сьедает PCIE x8 v4
При наличии на борту видеокарты 6Гиг и выше можно нормально кодить с LLM.
Еще зависит от выбора модели. Некоторые заточены под кодинг, другие больше на треп.
Это часть моего процесса при генерации изображений. Причём, есть вообще лютая штуковина, которая псевдо креативит в заданных рамках: сперва генератор случайных фраз выбирает рандомные из списка по категориям (сцена, свет, объект и т.д.), а потом результат посылается на llm с заданием "ты проф дизайнер. сформулируй из этих слов промт для генерации изображения.". В итоге, из разрозненных тэгов получается сформулированная задача из нескольких предложений.
Вдобавок, "генерация промта по запросу" СИЛЬНО улучшает детализацию и качество изображений. Потому что нейронка за секунды может написать целый рассказ с подробностями из моих косноязычных нескольких слов.
@basЫl, самое главное, чтоб программа умела с ними работать. К примеру, ComfyUI не умеет складывать видеопамять нескольких карт. Может только распределять ресурсы, например, llm модель на одной, а модель изображений на другой видеокарте.
Да знаю я. Но у нас все модели квантованные, потому что полные не влезут в оперативку, не говоря уже про видеопамять. Для понимания масштабов: полная GLM 4.7 весит где то в районе 700 гигабайт. Квантованная до неприличия Q2 GGUF версия весит 130гб. То есть, самая тупая модель нагнёт комп со 128г оперативки.
В этом и проблема локальных моделей - они все урезанные в разной степени, чтобы хоть как то запускаться на домашних компах.
В любом случае при выборе подходящей модели можно сделать до среднего по размерам проекта.
Также правильно поставленная задача и хорошо прописанная. Хотя все, конечно, не предусмотришь.
Конечно, еще сложность проекта тоже имеет значение.
а как можно потратить денег сверх плана?
если превысил лимит токенов то тебя просто отключат на какое то время и все
можно конечно докупить одноразово
Последнее редактирование:
1. да, я поэтому и указал, что при раскладке слоев по видяхам НЕСКОЛЬКО агентов работают линейно быстрее.
2. есть такая штука (и ее производные) - MoE (пьянка специалистов): когда контекст вопроса по юриспруденции - незачем помнить про медицину. Это кратно снижает требования к памяти.
Сегодня вышла Gemini 3.5 flash. Я в шоке от её возможностей. Приложение на полторы тысячи строк за пол минуты без ошибок. Со звуком и анимацией. С не слабым дизайном.