14289
Уютный чат для профессионалов, занимающихся поиском питоньих мудростей. Как не получить бан: https://t.me/ru_python/1961404
Ну в начале это имело смысл, но сейчас, когда по 0.0005 биткоина в неделю фармят, смысл не знаю какой.
Читать полностью…
в лламе и олламе оффлоадинг на цпу это стандартное дело
Читать полностью…
Криптобро хотя бы сравнительно не отсвечивали вне нижних интернетов
Читать полностью…
https://github.com/zapabob/Strata ну вот типа видео 16гб + 64\96гб озу, хотя там кажется и от 12гб видеоозу
Читать полностью…
Кстати да, вот тема, раньше кучу энергии тратили на майнинг, хотя так и не понял я смысла всех этих усилий, сейчас хоть с иишками более практичные задачи решаются.
Читать полностью…
А какие системные нужны под более простую модельку на одного юзера?
Читать полностью…
чтобы эти сессии паралельно считались, нужно правильно батчить, чтобы всё не встало на один запрос
Читать полностью…
ну на цпу считать если, то тут как раз обычно вычисляторов не хватает, а рамы завались (ну или может рамы и завались, но она сравнительно медленная)
Читать полностью…
А, ну да, получается, загрузил веса один раз и через них можно гонять несколько промптов и параллельно считать матрицы, то есть упирается всё в память.
Читать полностью…
дешёвая она, хотя все зависит от юскейсов и того, как часто ты обучаешь модели
Читать полностью…
Сначала все от ковида отупели, а теперь ещё ии… первый коронный, второй похоронный
Читать полностью…
ты думал, что майнинг это когда просто так циферки считают что ли?
Читать полностью…
Хрен знает кто мне больше не нравится, криптобро или иибро
Читать полностью…
16гб прям наверное вообще минимум посмотреть на что-то минимально как-то интересное, либо видеопамяти, либо чего-нибудь аля unified
Читать полностью…
там и размеры у этих моделей бесконечные, а юзверей по букве подкармливать надо
Читать полностью…
Это дипсику приходится видеокарты окупать, они за свои майнят токены считают
Когда есть безлимитные VC-деньги, можно об этом сильно не думать
Читать полностью…
там архитектура моделек в общем решает, сколько они под кеш тратят, типа древний гпт-осс-20б может 10 гигов. а новый квен 3.6-8 гиг на теже 260к контектса
Читать полностью…
в количество "вычисляторов" тоже может упереться, но на практике обычно не хватает памяти, особенно на устройствах для простых смертных
Читать полностью…
было бы странно если бы она последовательно обрабатывала все запросы
Читать полностью…
всё упирается в твое железо же, типа условно ртх6000 может наверно в 10 чатов отвечать паралельно, но веса какого-то квена будут загружены 1 раз, но под кв кеш ответов будет еще +1 гиг на поток, завист от размера контекстного окна же
Читать полностью…
Что лучше выбрать cursor prem за 30$ или codex за 20$. По количеству квоты с учётом 5ч сбросов в кодексе и качеством кода?
Читать полностью…
Я на дипломе вообще вместо разработки приложения, тупо макеты в фигме накидал. Благо не проверяли наличие и работу.
Читать полностью…