Я стараюсь каждый год рецензировать по паре статей для Workshop on Insights from Negative Results in NLP. Делаю это для души: сама я туда статьи пока что не подавала, просто считаю этот воркшоп важным и полезным. Он посвящен редкой теме: отрицательным результатам в NLP, то есть случаям, когда в исследовании что-то не получилось. Обычно в науке про такое не пишут, а публикуют только истории в духе "мы применили такой-то метод к такой-то задаче и улучшили такую-то метрику". Данный воркшоп является попыткой поправить данную проблему. Прошедшие в этом году статьи уже опубликованы на страничке воркшопа: https://insights-workshop.github.io/2026/accepted , так что в этом посте я расскажу про одну из них: https://arxiv.org/abs/2608.22909 Она называется Exploring Dowker Homology for Sentence Similarity и представляет собой, собственно, описание попытки применить к задаче sentence similarity технику из топологического анализа данных - Dowker Homology, которая позволяет хитрым образом вычислить похожесть двух облаков точек. В качестве одного облака точек авторы берут эмбеддинги токенов одного предложения. Соответственно, два предложения дают два облака точек, и по ним можно определять, насколько эти два предложения похожи друг на друга. Эмбеддинги берутся из моделей MiniLM, RoBERTa и MPNet (плюс их дообученные версии), а в качестве источника предложений - STS Benchmark. В качестве бейзлайна же используется простой советский cosine similarity двух векторов: каждый вектор берется из BOS-, EOS-токенов или же из max/mean-пулинга. Кроме того, авторы обучают ridge regression предсказывать похожесть как по топологическим признакам, так и по признакам из пулингов, и сравнивают, что работает лучше. Результат получился довольно типичный: хитрый топологический метод позволяет посчитать похожесть двух предложений лучше, чем BOS/EOS, но не лучше max/mean-пулинга. То есть, подтвердилась известная мораль: часто простой метод дает качество не хуже, чем сложный. Тем не менее, у топологического метода нашелся приятный побочный эффект - наглядность. По персистентным диаграммам видно, что делает с моделью дообучение на задачу similarity: облака точек непохожих предложений разъезжаются друг от друга, а у похожих почти ничего не меняется (рис. 2 и 3 в статье). #наука #объяснения_статей
Open in TelegramViews growthHide views growth
Views growth
Hours after publication
Show as table
| Hours after publication | Views |
|---|---|
| 0 h | 0 |
| 8 h | 1,864 |
| 8 h | 1,864 |
- Total to date1,864