@belovw, про goose вообще полезная инфа. Ибо claude code нифига не локальный на этапе установки: мало того, что просит авторизацию, да ещё и подтверждение номера телефона. Просто мрак.
Правда, вывод в итоге у него не утешительный, локалка слабовата, а в его случае вообще провал вышел.
Я на lua так же кодил локалкой. Чисто вайбкодить не получится, порой ошибок многовато.
Правда, вывод в итоге у него не утешительный, локалка слабовата, а в его случае вообще провал вышел.
Я на lua так же кодил локалкой. Чисто вайбкодить не получится, порой ошибок многовато.
Они просто вынуждены, чтобы снизить расходы на фри тир. У некоторых товарищей десятки аккаунтов, которые они используют по кругу. Говорят скоро по паспорту будут регистрировать.
Вот ещё один лайфхак в копилку. Только у меня 3 номера, у дочек, у жены, у тещи. Так и наберём тот же десяток пока по пачпорту не начали регить.
Интересно, а можно компьютерный класс напрячь на локалку?
Пока не знаю. В целом вопрос думаю будет стоить не 20 баксов. Например коллега нагенерил на прошлой неделе на 60 баксов. А цели у нас есть куда на большее. Поэтому, обладая ресурсом, изыскиваю варианты реализации.
хаха, не прибедняйся. За помещение почти неиспользуемое платишь больше чем за самый крутой тариф у клода.
ИИ лучше сам знает, как верно ему задавать вопросы и ставить задачи. Лучший вариант, это спросить ИИ, какую инфо ему надо предоставить, чтобы он правильно решил свою задачу. И про другие ИИ он тоже разбирается лучше, как правильно промты отрабатывают. Так что, это самый надежный вариант промтинга.
относительно свежая модель Mercury 2 - типа самый быстрый стрелок Дикого Запада? скорость 1000 токенов в секунду 
https://www.inceptionlabs.ai/models
можно попробовать бесплатно, чат\api 10 million free tokens (результат не проверял, но отвечает очень быстро
)
https://www.inceptionlabs.ai/models
можно попробовать бесплатно, чат\api 10 million free tokens (результат не проверял, но отвечает очень быстро
)
кто локально вайбкодит - как вам рабочая лощадь из 4х 5060Ti 16Gb?
64 гектара видеопамяьти при NVFP4 квантовании "аналогично" 256Gb fp16 за смешные деньги, но чтобы полный профит получить надо чтобы количество одновременных агентов было тоже 4. Иначе весь профит сьедает PCIE x8 v4
64 гектара видеопамяьти при NVFP4 квантовании "аналогично" 256Gb fp16 за смешные деньги, но чтобы полный профит получить надо чтобы количество одновременных агентов было тоже 4. Иначе весь профит сьедает PCIE x8 v4
При наличии на борту видеокарты 6Гиг и выше можно нормально кодить с LLM.
Еще зависит от выбора модели. Некоторые заточены под кодинг, другие больше на треп.
Это часть моего процесса при генерации изображений. Причём, есть вообще лютая штуковина, которая псевдо креативит в заданных рамках: сперва генератор случайных фраз выбирает рандомные из списка по категориям (сцена, свет, объект и т.д.), а потом результат посылается на llm с заданием "ты проф дизайнер. сформулируй из этих слов промт для генерации изображения.". В итоге, из разрозненных тэгов получается сформулированная задача из нескольких предложений.
Вдобавок, "генерация промта по запросу" СИЛЬНО улучшает детализацию и качество изображений. Потому что нейронка за секунды может написать целый рассказ с подробностями из моих косноязычных нескольких слов.
@basЫl, самое главное, чтоб программа умела с ними работать. К примеру, ComfyUI не умеет складывать видеопамять нескольких карт. Может только распределять ресурсы, например, llm модель на одной, а модель изображений на другой видеокарте.
Да знаю я. Но у нас все модели квантованные, потому что полные не влезут в оперативку, не говоря уже про видеопамять. Для понимания масштабов: полная GLM 4.7 весит где то в районе 700 гигабайт. Квантованная до неприличия Q2 GGUF версия весит 130гб. То есть, самая тупая модель нагнёт комп со 128г оперативки.
В этом и проблема локальных моделей - они все урезанные в разной степени, чтобы хоть как то запускаться на домашних компах.