Искусственный Интеллект

[Outlawif]

Даже если случайно переставить буквы в словах, GPT-4 понимает текст.

 

Для представления внутри трансформеров слова или их небольшие части преобразуются в токены. Кажется, что если перемешать в каждом слове буквы, то языковая модель на трансформерах потеряет всякую способность понимать текст. Авторы научной работы «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» (arXiv:2311.18805) показали, что это не так. Как выяснилось, GPT-4 без проблем оперирует текстом, где в каждом слове все буквы случайно переставлены.

 

С ростом масштабов больших языковых моделей (БЯМ) происходит неожиданное. Количественный рост в модели (выше затраченные на обучение вычислительные мощности, больше число параметров и так далее) выливается в качественные изменения в поведении, которые называют эмерджентными способностями. Способность эмерджентная, если она нехарактерна для модели поменьше, но появляется в большой.

 

«Развитие» такой способности скачкообразно. У небольшой модели производительность в некоем наборе задач будет почти случайной. К примеру, она плохо транслитерирует слова, с ошибками выполняет арифметические задачи или неправильно отвечает на вопросы — разновидностей бенчмарков много. Если увеличить размер модели, в определённый момент произойдёт резкий фазовый переход, и поведение изменится таким образом, который невозможно предсказать по анализу небольших систем. Модель приобретёт эмерджентную способность.

 

На самом деле умение БЯМ угадать изначальное слово по варианту, где буквы переставлены случайным образом, описано давно. Такой навык упоминается в основополагающей научной статье по эмерджентным способностям «Emergent Abilities of Large Language Models» (arXiv:2206.07682) от лета 2022 года. В ней расшифровка слов с перемешанными буквами даже используется в качестве одного из бенчмарков.

 

Далее...

[AT0N]

А навіщо їм робити загальнодоступні? Вони для себе роблять: Китайская Alibaba представила искусственный интеллект с сотнями миллиардов параметров.

 

Alibaba назвала Tongyi Qianwen 2.0 значительным обновлением первой версии этой языковой модели, представленной в апреле. Новое поколение увидело свет всего через шесть месяцев после первого выпуска модели, что свидетельствует о бешеных темпах, с которыми технологические компании стремятся контролировать быстро расширяющийся рынок искусственного интеллекта в Китае. Свои аналоги уже выпустили Tencent и Baidu, так что Alibaba вынуждена работать ускоренными темпами.

 

ИИ демонстрирует чудесные способности в понимании сложных инструкций, копирайтинге, рассуждении, запоминании и предотвращении галлюцинаций. Как уже отмечалось, он может похвастаться сотнями миллиардов параметров, что делает его одним из самых мощных ИИ в мире по этому показателю, сообщают в компании.

 

Китай тайно развивает свой искусственный интеллект. К чему может привести – исследование.

 

В отчете отмечается, что в некоторых исследованиях AGI Китая принимают участие исследователи из-за рубежа, но данные показывают, что основная их часть находится в китайских учреждениях. Авторы обеспокоены тем, что остальному миру трудно понять достижения Китая – или их отсутствие – и отмечают, что сокрытие научных исследований, например путем ограничения доступа к академическим журналам, может привести к ошибочным предположениям, которые перерастают в порочный круг мер и контрмер.

 

В Китае ожидают роста числа компьютеров с искусственным интеллектом.

 

В 2024 г в Китае 54,7% новых компьютеров будут иметь поддержку ИИ по сравнению с 8,1% в 2023 году. Этот показатель вырастет до 84,6 процента в 2027 году, говорится в «AI PC whitepaper», совместном техническом документе, опубликованном Lenovo Group Ltd и International Data Corp (IDC) на AI PC форуме, который состоялся в этот четвергу.

 

 

У новинах, що я наводив вище, йдеться про те, що кєтайці масово переробляють відеоприскорювачи верхнього рівня для роботи у фермах ШІ. Якби не було масової потреби у цих прискорювачах, вони б цього не робили.

Наївно вважати, що країна, яка має особисту космічну станцію та висадилася на Місяц, буде пасти задніх у розробці ШІ.

[Outlawif]

А навіщо їм робити загальнодоступні?

А зачем ты у меня спрашиваешь? Я просто констатирую, что их нет, поэтому по ним оценить уровень не получится.

Tongyi Qianwen 2.0

Все эти продукты - темные лошадки, а разрабатываются торговыми площадками для торговли. Ничего неизвестно о том, насколько они конкурентноспособны с лидерами от западных разработчиков.

Наївно вважати

Да ну? Окей, я наивный и тупой. Но из этого все равно не следует, что на основании запрета экспорта в Китай очередной категории высокотехнологических продуктов, можно сделать вывод о состоянии отрасли в Китае. И все остальное, что ты нацитировал, тоже не позволяет.

 

Я и не говорил, что Китай "пасет задних". Я лишь высказал предположение, что Китай отстает [от США, разумеется]. Ты чувствуешь разницу? Тебе не пришел в голову вопрос, почему я именно про Китай завел речь? Не про Румынию? Или Украину? Или Иран? Как думаешь, почему именно Китай я сравниваю со США? Может, есть какая-то причина?

 

Я повторюсь: я волнуюсь. Ты постоянно делаешь необоснованные выводы и нелогичные заключения, зато часто не видишь простейших импликаций и других логических действий. Тебя в последнее время гуманитарии не кусали?

 

[AT0N]

Ты постоянно делаешь необоснованные выводы и нелогичные заключения

 

У рамках моєї нелогічної логіки я вважаю, що раз штати тільки для кєтая забороняють ШІ-прискорювачі та топову відеокарту, яка може використовуватися як ШІ-прискорювач, то розвідка штатів знає, що у кєтаї все добре з ШІ і треба швидко пригальмовувати його розвиток, бо і без ШІ кєтай наступає на п'яти штатам (а де-не-де вже і випереджає) по всіх високотехнологічних фронтах, а з появою міцного ШІ швидко пережене.

[Outlawif]

розвідка штатів знає

Это конспирология. Бритва Оккамы подсказывает, что не нужно вводить новых сущностей для объяснения ограничения высокотехнологичного экспорта, которое (ограничение) имеет место быть давно и последовательно со стороны штатов. И означает оно только то, что штаты видят в Китае конкурента и ставят ему палки в колеса.

 

Какое там конкретно состояние дел мы делать вывод не можем, мы не знаем. Когда мы чего-то не знаем, есть два пути: первый - пытаться узнать всеми силами, для данной ситуации это поехать в Китай и устроиться работать в передовые конторы занимающиеся ИИ, либо устроиться в ЦРУ тощо, второй путь - честно признаться что мы не знаем что там на самом деле и развести руками. Все остальные способы рассуждать дефективны.

 

[AT0N]

штаты видят в Китае конкурента и ставят ему палки в колеса.

 

Так це і є основним аргументом на користь того, що ШІ у кєтаї розвивається потужно. Бо конкурента бачать у тому, хто має схожий рівень розвитку. А те, що кєтай у майже усіх наукових галузях по наукових статтях випереджає штати, верогідно, що і у галузі ШІ, принаймні, теоретично, може випереджати.

[Outlawif]

ШІ у кєтаї розвивається потужно

Если бы я не был уверен, что ИИ в Китае развивается потужно, я бы его со США не сравнивал, и не интересовался отстал он, или нет. Тебе каждую мысль по полочкам раскладывать? То, что он потужно развивается, вообще никак нам не говорит о том, отстали они, или нет.

теоретично, може

Теоретически может даже СК опережает. Кто его знает.

 

Насчет того, что Китай во всех научных отраслях опережает - я бы не сказал. Откуда такая информация?

 

Если же прям невмоготу хочется "теоретически пофилософствовать", то можешь подумать над этим: почему штаты ограничивают экспорт высокотехнологичных товаров в Китай, а не наоборот?

[Outlawif]

Учёные вырастили крошечный человеческий мозг с подключением к ПК — он быстро научился решать уравнения и различать людей по голосу

 

С помощью стволовых клеток учёные вырастили так называемый органоид мозга — объёмную колонию клеток, повторяющих структуру нейронов и их связей в мозге. Это не первый и наверняка не последний эксперимент с живыми клетками, позаимствованными у человека. Ранее органоид мозга, например, научили игре в «Понг», с чем он успешно справился. В таких исследованиях самым сложным бывает донести информацию до «мозга» и считать её.

 

Группа профессора Го Фэня из Университета штата Индиана в Блумингтоне (США) предложила достаточно простое решение — они вырастили органоид на высокоплотном массиве электродов. Электроды, а это, по сути, компьютерный интерфейс, вносили данные в клетки «мозга» и считывали результат его последующей активности. Тем самым на практике была реализована такая архитектура спайковой (импульсной) нейросети, как резервуарная. Что происходило в массиве нейронов, учёным было неизвестно, но условно живая модель показала способность к быстрому обучению и расчётам.

 

[AT0N]

Насчет того, что Китай во всех научных отраслях опережает - я бы не сказал. Откуда такая информация?

 

Не у всіх, а у багатьох. На форумі вже було про це. China overtakes US in scientific research output.

 

почему штаты ограничивают экспорт высокотехнологичных товаров в Китай, а не наоборот?

 

Тому що штати, поки що, більш розвинені у високотехнологічних галузях, тому що мали декілька десятирічч гандікапу. Але навіть у штатів нема своїх технологій фотолітографії, яка є тільки у Нідерландів. І ці установки їдуть у кєтай, а не у штати, попри санкційні заборони. А у кєтая є вже по декілька контор, які розробляють процесори х86 та відеокарти, які вже швидко наздоганяють вироби інтел, амд та нвідіа, до яких ті контори йшли десятиріччами, а кєтайці це роблять за роки. Я не виключаю, що кєтайцям вже ШІ допомагає так швидко розвивати високі технології.

[Outlawif]

у багатьох

А, по объему научных исследований. Ясно. А когда уровень НТП начали литрами мерять, я прозевал?

 

У Китая в 3.5 раза больше населения, странно что он не в 3.5 раза обгоняет по объему исследований. Очевидно, что ученых там на душу населения сильно меньше, чем в США.

штати, поки що, більш розвинені

Бинго. Все остальное пустая болтовня.

Я не виключаю

Не сомневаюсь, ты вообще большой фантазер.