Account

Posts of AI.Insaf

newest first

#258Photo

Локальный сервер у себя дома (8x DGX по 128 ГБ unified memory). Пост в твиттере Человек смог развернуть GLM 5.3. Не Flash-версию а квантизированную до 3.25 bit. По метрикам она на уровне DeepSeek Flash 4.1 которому требовалось всего 4 карты. Но там есть проблемы с передачей данных между картами. Скорость составляет 55 tok/s на генерации и prefill ~1800 (должно быть существенно быстрее подписок). Основная ценность возможно в том что можно использовать abliterated-модели для security audit без отказов. А это в последнее время становится все актуальнее. У условных Claude и Codex все больше ограничений на то где их можно использовать. По цене (вроде еще по старым ценам) 8 DGX обходятся в 6 тысяч долларов или 4 млн рублей без учета стойки блока питания и охлаждения. Плюс потребление электричества при большой нагрузке выходит на 900 кВт·ч или 8 тысяч рублей в месяц (~100-долларовая подписка). Еще нужна отдельная комната ибо шумно (это думаю бесценно). Дорого но дешевле парковки в Москве, думайте

Open in Telegram
Views225−42%vs avg
Forwards7
Reactions15
Comments15
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
60 h221
72 h225
  1. Total to date225
#257Photoedited
Views324−17%vs avg
Forwards7
Reactions15
Comments1
#256Link preview
Views620+59%vs avg
Forwards10
Reactions24
Comments3
#255Link preview
Views805+107%vs avg
Forwards5
Reactions18
Comments0
#254Photo
Views870+123%vs avg
Forwards0
Reactions12
Comments0
#253Photo
Views646+66%vs avg
Forwards2
Reactions10
Comments0
#251Photo
Views782+101%vs avg
Forwards4
Reactions8
Comments0
#250Photoedited

Feedback That Backfires arxiv Контринтуитивный вывод в статье. Дефакто в harness-решениях в рамках react цикла при возникновении ошибок обычно ошибочный вызов кладут в контекст и говорят, что его нужно исправить. У авторов добавление такого контекста увеличивало вероятность повторной ошибки с 6% до 54% (эффект наблюдался на всех протестированных моделях, но это были небольшие модели, до 1,7B). Причем в попытке выяснить почему оказалось, что сам факт видения похожей строки увеличивает вероятность ее повторения, а добавление информации о том, что она завершилась ошибкой, дает небольшой дополнительный эффект. Причем эффект наблюдается для всех исследованных типов ошибок. Решение: нужно просто перефразировать ошибочное место. В больших моделях, предположительно, примерно с 38B эффект нивелируется, но это пока только их экстраполяция Хотя в статье Outcome Monitors: Recovery Affordances for Silent Tool Failures предлагают в сообщение об ошибке добавлять информацию о том, как именно решить проблему через указание recovery tools. Тогда доля успешных решений растет с 10% до 28%.

Open in Telegram
Views669+72%vs avg
Forwards3
Reactions14
Comments0
#248Photo
Views537+38%vs avg
Forwards2
Reactions10
Comments1
#247Photo
Views719+85%vs avg
Forwards40
Reactions17
Comments0
#246Photoedited
Views909+133%vs avg
Forwards5
Reactions7
Comments2
#243Photo

Новая библиотека SIRIN для оценки и мониторинга contextual hallucinations в RAG и memory-based LLM системах (статья arxiv + github ) Идейно внутри три инструмента: - probing по hidden states - легкий классификатор по hidden states генератора но нужно немного разметки - LLM-as-a-judge. Есть response-level и span-level варианты, где модель пытается локализовать конкретные галлюцинированные фрагменты. - uncertainty (entropy, perplexity, semantic uncertainty) - разные технические метрики как baseline, но обычно хуже чем LLM-as-a-judge И два гейта: 1) до ответа: хватает ли контекста (Answerability gate) 2) после ответа: не наврал ли относительно контекста (Faithfulness gate) - С учетом всего этого можно считать разные метрики качества. Еще у ребят неплохо получилось улучшить метрики на на memory-агенте повесив два гейта, и при непрохождения заставляя еще раз идти думать (метрики точности с 62.4% до 79.3%) - Кастомный judge под задачу часто нужен все равно, но решение хороший baseline

Open in Telegram
Views980+151%vs avg
Forwards11
Reactions17
Comments1
#242Photo
Views724+86%vs avg
Forwards18
Reactions16
Comments0
#240Link preview
Views1,017+161%vs avg
Forwards9
Reactions12
Comments2
#239Link preview
Views909+133%vs avg
Forwards14
Reactions13
Comments3