Кабинет

Посты канала AI.Insaf

сначала новые

#258Фото

Локальный сервер у себя дома (8x DGX по 128 ГБ unified memory). Пост в твиттере Человек смог развернуть GLM 5.3. Не Flash-версию а квантизированную до 3.25 bit. По метрикам она на уровне DeepSeek Flash 4.1 которому требовалось всего 4 карты. Но там есть проблемы с передачей данных между картами. Скорость составляет 55 tok/s на генерации и prefill ~1800 (должно быть существенно быстрее подписок). Основная ценность возможно в том что можно использовать abliterated-модели для security audit без отказов. А это в последнее время становится все актуальнее. У условных Claude и Codex все больше ограничений на то где их можно использовать. По цене (вроде еще по старым ценам) 8 DGX обходятся в 6 тысяч долларов или 4 млн рублей без учета стойки блока питания и охлаждения. Плюс потребление электричества при большой нагрузке выходит на 900 кВт·ч или 8 тысяч рублей в месяц (~100-долларовая подписка). Еще нужна отдельная комната ибо шумно (это думаю бесценно). Дорого но дешевле парковки в Москве, думайте

Открыть в Telegram
Просмотры225−42%к среднему
Пересылки7
Реакции15
Комментарии15
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
60 ч221
72 ч225
  1. Всего сейчас225
#257Фотоизменён
Просмотры324−17%к среднему
Пересылки7
Реакции15
Комментарии1
#256Превью ссылки
Просмотры620+59%к среднему
Пересылки10
Реакции24
Комментарии3
#255Превью ссылки
Просмотры805+107%к среднему
Пересылки5
Реакции18
Комментарии0
#254Фото
Просмотры870+123%к среднему
Пересылки0
Реакции12
Комментарии0
#253Фото
Просмотры646+66%к среднему
Пересылки2
Реакции10
Комментарии0
#251Фото
Просмотры782+101%к среднему
Пересылки4
Реакции8
Комментарии0
#250Фотоизменён

Feedback That Backfires arxiv Контринтуитивный вывод в статье. Дефакто в harness-решениях в рамках react цикла при возникновении ошибок обычно ошибочный вызов кладут в контекст и говорят, что его нужно исправить. У авторов добавление такого контекста увеличивало вероятность повторной ошибки с 6% до 54% (эффект наблюдался на всех протестированных моделях, но это были небольшие модели, до 1,7B). Причем в попытке выяснить почему оказалось, что сам факт видения похожей строки увеличивает вероятность ее повторения, а добавление информации о том, что она завершилась ошибкой, дает небольшой дополнительный эффект. Причем эффект наблюдается для всех исследованных типов ошибок. Решение: нужно просто перефразировать ошибочное место. В больших моделях, предположительно, примерно с 38B эффект нивелируется, но это пока только их экстраполяция Хотя в статье Outcome Monitors: Recovery Affordances for Silent Tool Failures предлагают в сообщение об ошибке добавлять информацию о том, как именно решить проблему через указание recovery tools. Тогда доля успешных решений растет с 10% до 28%.

Открыть в Telegram
Просмотры669+72%к среднему
Пересылки3
Реакции14
Комментарии0
#248Фото
Просмотры537+38%к среднему
Пересылки2
Реакции10
Комментарии1
#247Фото
Просмотры719+85%к среднему
Пересылки40
Реакции17
Комментарии0
#246Фотоизменён
Просмотры909+133%к среднему
Пересылки5
Реакции7
Комментарии2
#243Фото

Новая библиотека SIRIN для оценки и мониторинга contextual hallucinations в RAG и memory-based LLM системах (статья arxiv + github ) Идейно внутри три инструмента: - probing по hidden states - легкий классификатор по hidden states генератора но нужно немного разметки - LLM-as-a-judge. Есть response-level и span-level варианты, где модель пытается локализовать конкретные галлюцинированные фрагменты. - uncertainty (entropy, perplexity, semantic uncertainty) - разные технические метрики как baseline, но обычно хуже чем LLM-as-a-judge И два гейта: 1) до ответа: хватает ли контекста (Answerability gate) 2) после ответа: не наврал ли относительно контекста (Faithfulness gate) - С учетом всего этого можно считать разные метрики качества. Еще у ребят неплохо получилось улучшить метрики на на memory-агенте повесив два гейта, и при непрохождения заставляя еще раз идти думать (метрики точности с 62.4% до 79.3%) - Кастомный judge под задачу часто нужен все равно, но решение хороший baseline

Открыть в Telegram
Просмотры980+151%к среднему
Пересылки11
Реакции17
Комментарии1
#242Фото

Переслано из AbstractDL

Ouroboros теперь SOTA на Terminal Bench, OSWorld и CL-bench Мой любимый агентный луп на чистом питоне доэволюционорал до состояния лучшего харнесса для кодинга! На главных бенчмарках он теперь обходит Codex, Claude code, Cursor и Hermes. Выходит, что в рисёрче, в computer use, в работе через терминал и в задачах на кодинг — уроборос сейчас является лучшим агентом. Так что с этого момента всю разработку и исследования я веду только через уробороса. Для полной воспроизводимости результатов. Весь код, скрипты, трейсы я выложил в открытый доступ. Напоминаю: лицензия MIT. Так что спокойно ломайте, форкайте, проверяйте трейсы, пишите что я где наврал. И кидайте issues и PR-ы! Все постараемся с уроборосом принять😋 P.S. Кошмар какие дорогие агентные бенчи. Прогнать весь набор стоит как квартиру купить (это не шутка!!) GitHub, Хабр, установочники

Открыть в Telegram
Просмотры724+86%к среднему
Пересылки18
Реакции16
Комментарии0
#240Превью ссылки
Просмотры1 017+161%к среднему
Пересылки9
Реакции12
Комментарии2
#239Превью ссылки
Просмотры909+133%к среднему
Пересылки14
Реакции13
Комментарии3