Корпоративный генеративный ИИ: более 10 вариантов использования и передовой практики для предприятий ['25]

jisansorkar12 · Post by **jisansorkar12** » Mon Jan 06, 2025 10:22 am

предприятий по сравнению с компаниями среднего бизнеса или стартапами, в том числе:

Варианты использования корпоративного генеративного ИИ

Возможность строить модели вашей компании, не раскрывая конфиденциальные данные третьим лицам.

Однако генеративный ИИ — это новая технология, которая ставит перед предприятиями уникальные задачи:

Ценные конфиденциальные данные могут быть раскрыты, что было указано 36% предприятий как причина не использовать коммерческие степени магистра права1
Инструменты генеративного ИИ создадут новые сервисы и решения. Лидеры технологий могут использовать их для выхода на новые рынки, увеличивая долю рынка за счет действующих игроков.
Генеративные модели ИИ, также называемые генеративными моделями, откроют новые возможности автоматизации с потенциалом повышения удовлетворенности клиентов или снижения затрат. Конкуренты могут использовать их, чтобы вырваться вперед.
Репутационные или операционные риски из-за предвзятости или галлюцинаций генеративных моделей
Руководители задаются вопросом, как их организации могут воспользоваться преимуществами генеративного ИИ, преодолевая эти проблемы. Ниже мы описываем:

Варианты использования генеративного ИИ для крупных компаний

Рекомендации по использованию всего потенциала решений генеративного ИИ, включая способы создания и управления генеративными моделями вашей компании.

Как предприятиям следует использовать генеративный ИИ?
Мы разработали подробный план использования генеративного ИИ для предприятий .

Хотя большинству фирм, возможно, не нужно строить свои модели, ожидается, что большинство крупных предприятий (например, Forbes Global 2000) создадут или оптимизируют одну или несколько генеративных моделей ИИ, соответствующих их бизнес-требованиям, в течение следующих нескольких лет. Тонкая настройка может позволить компаниям достичь следующих целей:

Достичь более высокой точности , детально настроив выходные данные модели для своей области
Экономьте расходы . Настраиваемые модели с лицензиями, разрешающими коммерческое использование, оказались почти такими же точными, как и фирменные модели, но при этом стоят значительно дешевле.2
Уменьшить поверхность атаки на их конфиденциальные данные
Такие компании, как Bloomberg, добиваются результатов мирового уровня, создавая собственные инструменты генеративного ИИ, использующие внутренние данные.3

Каковы рекомендации по моделям корпоративного ИИ?
Генеративные модели ИИ для предприятий должны быть надежными и этичными. Надежность означает, что модель является последовательной, контролируемой, объяснимой, надежной и безопасной. Этичность означает, что модель этически обучена, справедлива, лицензирована и устойчива.
Как минимум, корпоративная генеративная модель ИИ должна быть:

Доверенный
Последовательный
Большинство современных LLM могут предоставлять разные выходные данные для одних и тех же входных данных. Это ограничивает воспроизводимость тестирования, что может привести к выпуску недостаточно протестированных моделей.

Контролируемый
Размещаться в среде (локальной или облачной), где предприятие может контролировать модель на гранулярном уровне. Альтернативой является использование интерфейсов онлайн-чата или API, таких как LLM API OpenAI.

Недостатком использования API является то, что пользователю может потребоваться раскрыть конфиденциальные данные владельца API. Это увеличивает поверхность атаки для данных, защищенных авторским правом. Такие мировые лидеры, как Amazon и Samsung, столкнулись с утечками данных внутренних документов и ценного исходного кода, когда их сотрудники использовали ChatGPT.4 5

Позднее OpenAI изменила свою политику хранения данных и запустила корпоративное предложение.6 Однако все еще существуют риски использования облачных систем GenAI. Например, поставщик API или недобросовестные лица, работающие у поставщика API, могут:

Получите доступ к конфиденциальным данным предприятия и используйте их для улучшения собственных решений.

Случайная утечка корпоративных данных

Объяснимо
К сожалению, большинство генеративных моделей ИИ не способны объяснить, почему они предоставляют определенные результаты. Это ограничивает их использование, поскольку корпоративные пользователи, которые хотели бы основывать принятие важных решений на помощниках на базе ИИ, хотели бы знать данные, которые привели к таким решениям. XAI для LLM все еще остается областью исследований.

Надежный
Галлюцинация (т. е. создание лжи) является особенностью LLM, и вряд ли она будет полностью устранена. Корпоративные системы genAI требуют необходимых процессов и ограждений, чтобы гарантировать, что вредные галлюцинации будут минимизированы или обнаружены или идентифицированы людьми до того, как они смогут нанести ущерб операциям предприятия.

Безопасный
Модели корпоративного уровня могут иметь интерфейсы для внешних пользователей. Злоумышленники могут использовать такие методы, как внедрение подсказок, чтобы заставить модель выполнять непреднамеренные действия или делиться конфиденциальными данными.

Этический
Этически подготовленный
Модель должна быть обучена на данных, полученных из этических источников, где интеллектуальная собственность (ИС) принадлежит предприятию или его поставщику, а персональные данные используются с согласия.

1. Проблемы с интеллектуальной собственностью генеративного ИИ , такие как данные для обучения, включающие защищенный авторским правом контент, авторские права на который не принадлежат владельцу модели, могут привести к созданию непригодных для использования моделей и судебным процессам.

2- Использование личной информации в моделях обучения может привести к проблемам с соответствием. Например, ChatGPT от OpenAI должен был раскрыть свою политику сбора данных и разрешить пользователям удалять свои данные после опасений Итальянского органа по защите данных (Garante).7

Чтобы узнать больше, ознакомьтесь с проблемами авторских прав и передовыми методами в сфере генеративного ИИ .

Справедливый
Смещение в обучающих данных может повлиять на эффективность модели.

Лицензированный
Предприятию необходимо иметь коммерческую лицензию для использования модели. Например, использование моделей, таких как LLaMa от Meta, имеет некоммерческие лицензии, препятствующие их законному использованию в большинстве случаев использования в коммерческом предприятии. Модели с разрешительными лицензиями, такие как Vicuna, построенные поверх LLaMa, также в конечном итоге имеют некоммерческие лицензии, поскольку они используют модель LLaMa.89

Устойчивый
Обучение моделей генеративного ИИ с нуля обходится дорого и потребляет значительное количество энергии, способствуя выбросам углерода. Руководители бизнеса должны осознавать полную стоимость технологии генеративного ИИ и определять способы минимизации ее экологических и финансовых издержек.

Предприятия могут стремиться к соблюдению большинства из этих рекомендаций, и они существуют в континууме, за исключением вопросов лицензирования, этических проблем и контроля.

Понятно, как добиться правильного лицензирования и избежать этических проблем, но это труднодостижимые цели.
Достижение контроля требует от компаний создания собственных базовых моделей, однако большинство предприятий не имеют четкого представления о том, как этого добиться.
Как предприятия могут создавать базовые модели?
Существует два подхода к построению инфраструктуры LLM вашей компании в контролируемой среде.

1- Создайте свою собственную модель (BYOM)
Обеспечивает производительность мирового класса стоимостью в несколько миллионов долларов, включая вычисления (1,3 млн часов работы GPU на 40 ГБ графических процессорах A100 в случае BloombergGPT) и расходы на команду по анализу данных.10

2- Улучшить существующую модель
2.1- Тонкая настройка — это более дешевый метод машинного обучения, позволяющий люксембург whatsapp номер телефона улучшить производительность предварительно обученных больших языковых моделей (LLM) с использованием выбранных наборов данных.

Ранее тонкая настройка инструкций выполнялась с использованием больших наборов данных, но теперь ее можно выполнить с использованием небольшого набора данных (например, 1000 отобранных подсказок и ответов в случае LIMA).11 Важность надежного подхода к сбору данных, оптимизирующего качество и количество данных, подчеркивается в ранних коммерческих экспериментах по тонкой настройке LLM.12

Затраты на вычисления в исследовательских работах составляли всего 100 долларов США, при этом достигалась производительность, близкая к мировому уровню.13

Тонкая настройка моделей — это развивающаяся область с новыми подходами, такими как вмешательство во время вывода (ITI), подход к уменьшению галлюцинаций моделей, который публикуется каждую неделю.14

2.2- Обучение с подкреплением на основе обратной связи с человеком (RLHF) : точно настроенная модель может быть дополнительно улучшена с помощью оценки человеком в контуре.15 16 17

2.3- Дополненная генерация поиска (RAG) позволяет компаниям передавать важную информацию моделям во время генерации. Модели могут использовать эту информацию для получения более точных ответов.

Учитывая высокие затраты, связанные с BYOM, мы рекомендуем компаниям изначально использовать оптимизированные версии существующих моделей. Оптимизация языковой модели — это развивающаяся область, в которой еженедельно разрабатываются новые подходы. Поэтому компании должны быть открыты для экспериментов и быть готовыми менять свой подход.

Какие модели следует использовать предприятиям для обучения экономически эффективных базовых моделей?
Платформы машинного обучения выпустили фундаментальные модели с коммерческими лицензиями, которые в основном опираются на текст в Интернете как на основной источник данных. Эти модели могут использоваться в качестве базовых моделей для построения корпоративных больших языковых моделей:

– Llama 3 от Meta поставляется с лицензией на коммерческое использование с некоторыми ограничениями для очень крупных предприятий.18

– Mistral 8x22B – это новейшая модель open-weights, разработанная европейским стартапом генеративного ИИ Mistral. Благодаря разрешительной лицензии (например, Apache 2.0), которая позволяет коммерческое использование без особых ограничений для крупных предприятий, она может быть привлекательной для всех видов бизнеса.19 Mistral также предлагает модели, такие как Mistral Large, но эта модель имеет более строгие правила лицензирования.20

– Модели IBM Granite демонстрируют высокую производительность согласно тестам генерации кода и доступны с разрешительной лицензией Apache 2.0.21

– DBRX – это модель open-weights, разработанная платформой данных Databricks. Она поставляется с коммерческой лицензией с ограничениями, аналогичными ограничениям моделей Meta. Ограничения применяются к компаниям, обслуживающим более 700 млн активных пользователей.22

– Недавно X выпустила свою модель Grok-1 с 314 миллиардами параметров с разрешительной лицензией Apache 2.0.23

Какой технологический стек подходит для создания больших языковых моделей?
Generative AI — это технология искусственного интеллекта, и крупные компании разрабатывают решения на основе ИИ в течение последнего десятилетия. Опыт показал, что использование платформ Machine Learning Operations (MLOps) значительно ускоряет разработку моделей.

В дополнение к платформам MLOps корпоративные организации могут полагаться на растущий список инструментов и фреймворков для больших языковых моделей операций (LLMOps), таких как Langchain, Semantic Kernel или watsonx.ai, для настройки и создания своих моделей, а также на инструменты управления рисками на основе ИИ, такие как Nemo Guardrails.

На ранних этапах развития новых технологий мы рекомендуем руководителям отдавать приоритет открытым платформам для создания систем, ориентированных на будущее. В новых технологиях привязка к поставщику является важным риском. Предприятия могут застрять с устаревшими системами, поскольку происходят быстрые и сейсмические изменения технологий.

Наконец, инфраструктура данных компании является одной из важнейших базовых технологий для генеративного ИИ:

Необходимо организовать и отформатировать огромные объемы внутренних данных.

Усилия по обеспечению качества и наблюдаемости данных должны гарантировать компаниям доступ к высококачественным, уникальным и простым в использовании наборам данных с понятными метаданными.

Для обучения модели могут потребоваться возможности синтетических данных.

Как оценить эффективность больших моделей?
Без измерения эффективности ценность генеративных усилий ИИ не может быть количественно определена. Однако оценка LLM является сложной проблемой из-за проблем в наборах данных эталонных тестов, просачивания эталонных тестов в данные обучения, непоследовательности человеческих обзоров и других факторов.24 25 .

Мы рекомендуем итеративный подход, который увеличивает инвестиции в оценку по мере приближения моделей к использованию в производстве:

– Используйте результаты тестов бенчмарков для подготовки шортлистов. Это доступно публично для большого количества моделей с открытым исходным кодом.26 27

– Полагайтесь на рейтинг Эло,28 используется для ранжирования игроков в играх с нулевой суммой, таких как шахматы, сравните модели, которые будут выбраны. Если есть более эффективные модели, которые недоступны для использования (например, из-за проблем с лицензированием или безопасностью данных), их можно использовать для сравнения ответов разных моделей.29 Если такие модели недоступны, эксперты в предметной области могут сравнить точность различных моделей.

Каковы альтернативы моделям управления?
Корпоративные организации могут использовать предварительно обученные и настроенные модели от технологических гигантов или компаний, занимающихся ИИ (например, OpenAI), в случаях, когда они оказываются в одной из следующих ситуаций:

Эксперименты с данными, не содержащими конфиденциальной информации, для подтверждения гипотезы
Не беспокоится об увеличении поверхности атаки входных данных

Уверенность в том, что их данные не будут перехвачены третьими лицами или сохранены

Уверенность в том, что даже если их входные данные сохраняются, они хранятся ограниченное время и не будут утечек во время хранения

В таких случаях технологические команды могут использовать API для доступа к моделям по доступным ценам за вызов API. Они могут использовать следующие подходы:

Обучение с нуля, также называемое проектированием подсказок, включает в себя структурирование подсказок для улучшения результатов обучения по программе LLM.

Обучение с небольшим количеством попыток , также называемое контекстным обучением, подразумевает добавление примеров перед подсказкой для улучшения качества ответа.30

Источник: OpenAI
Это также может включать в себя подсказки в виде цепочки мыслей.31

Источник: Подсказка цепочки мыслей вызывает рассуждения в больших языковых моделях
Дополненную генерацию поиска (RAG) также можно использовать с коммерческими моделями, если предприятие удовлетворено политиками безопасности данных поставщика базовой модели.

Также доступна тонкая настройка для дальнейшего улучшения производительности коммерческих моделей, предлагаемых через API.32

Что предприятиям следует делать с генеративным ИИ, прежде чем создавать свои базовые модели?
Создание модели предприятия может занять месяцы, поскольку необходимо выполнить следующие шаги. Каждый из этих шагов может занять от нескольких недель до нескольких месяцев, и их невозможно полностью распараллелить:

Сбор данных может занять от нескольких недель до нескольких месяцев. Службы сбора данных ИИ могут ускорить этот процесс, помогая компаниям генерировать сбалансированные, высококачественные наборы данных инструкций и другие данные для построения или тонкой настройки моделей. Вы также можете работать с платформами краудсорсинга данных для более разнообразных наборов данных.
Наем специалистов по обработке данных со степенью магистра права или наем консультантов может занять от нескольких недель до нескольких месяцев.

Обучение и развертывание

Интеграция моделей в бизнес-процессы и системы

Поэтому мы рекомендуем руководителям компаний поощрять эксперименты. GenAI требует смены парадигмы: наше понимание машин должно эволюционировать от бессмысленных роботов до соавторов. Организациям необходимо начать работать с GenAI, чтобы начать этот сдвиг мышления. Им необходимо информировать своих сотрудников о потенциале генеративного ИИ и дать им возможность изменить свой подход к работе. Как любят говорить консультанты, самым важным элементом любой трансформации (включая трансформацию ИИ ) являются люди.