Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

09.10.2019     

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой.

Главная «фишка» версии 1.5.18 – сохранение содержимого кэша при перезагрузке системы. В 1.5.19 расширили текстовый протокол по умолчанию.

Что такое Memcached

Memcached – высокопроизводительная система хранения данных в оперативной памяти сервера. Систему разработали создатели LiveJournal для собственных нужд. Решение повышает скорость загрузки сайтов и оптимизирует их производительность. Memcached можно использовать в случае повышенной нагрузки на основную СУБД и дисковую подсистему.

Основа программы – хеш-таблица с парами «ключ-значение». Данные из хеш-таблиц позволяют моментально определять сервер, на котором хранится информация. А значит, быстрее находить данные в кэше и извлекать их.

Сервис написан на С и является кроссплатформенным. Клиентские библиотеки ПО есть для C/C++, Python, Java, Perl, Ruby, PHP, .Net. Код Memcached распространяется под лицензией BSD.

Сохранение кэша после перезапуска

В Memcached 1.5.18 разработчики добавили так называемый «теплый кэш». Теперь содержимое кэша сохраняется между перезапусками сервиса.

Memcached 1.5.18 избавляет от появления пиков нагрузки из-за пустого серверного кэша. Когда приложение стартует, оно извлекает содержимое кэша из сохраненной копии и использует его в работе. Сайт не тратит время на сбор коллекции данных, его производительность повышается, растет стабильность доступа.

Разработчики подчеркнули: пока «теплый кэш» – экспериментальная функция, и его стоит использовать осторожно. Они также призвали делиться отзывами о новой функции, чтобы улучшить продукт.

Поддержка устройств постоянной памяти

Начиная с Memcached 1.5.18, для кэширования данных можно использовать не только оперативную, но и постоянную память (persistent-memory, например NVDIMM) через их монтирование с использованием DAX (прямой доступ к ФС в обход страничного кэша без применения уровня блочных устройств).

Хеш-таблица с парами «ключ-значение», записи о соединениях и другая информация по-прежнему будут храниться в оперативной памяти. До перезагрузки эти данные копируются в файл .mmap.

После перезапуска Memcached данные извлекаются из .mmap-файла в оперативную память. Демон исправляет внутренние указатели и восстанавливает хэш-таблицу. Для небольших сайтов это занимает несколько секунд. Но если у вас в памяти около миллиарда элементов, то готовьтесь подождать 2-3 минуты.

«Теплый кеш» помогает, даже если приложение аварийно перезагрузится. Так как основной массив данных сохранится в .mmap-файле, потеряются только самые свежие данные, а значит, сайты будут загружаться быстрее.

Расширение текстового протокола

В Memcached 1.5.19 появился дополнительный набор метакоманд в текстовом протоколе, доступном по умолчанию. Добавили преимущественно функции, которые раньше работали только для бинарного протокола.

Метакоманды также стоит считать экспериментальными. По крайней мере, в нескольких следующих релизах.

Чем это может быть полезно в 1С

На Инфостарте можно найти решения, использующие Memcached для более быстрого получения данных из 1С через протокол XML-RPC (для 7.7 и 1С++) и через протокол OData (для 8.3).

В частности, решение «PHP-драйвер к OData-интерфейсу 8.3» активно развивается на GitHub, и позволяет кэшировать данные из 1С для интеграции с сайтами, использующими в качестве СУБД PostgreSQL, MSSQL и MySQL.
 

Подробное описание новых версий проекта Memcached на GitHub



Источник: https://infostart.ru/journal/news/tekhnologii/razrabotchiki-po-dlya-vysokonagruzhennykh-saytov-nauchili-reshenie-sokhranyat-kesh-pri-perezagruzke-_1132964/
Автор:
Ксения Шестакова Обозреватель


Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. VmvLer 09.10.19 18:00 Сейчас в теме
Перевел заголовок в свое понимание
Разработчики ПО для высоконагруженных сайтов создали механизм сохранения кэша при перезагрузке системы


ну а чо, хорошая станция сейчас от 32 гиг ОП, так что можно толкать туда кеши - вдруг никто и не заметит или поставят 128 гиг.
2. IssakN 4 10.10.19 09:18 Сейчас в теме
Демон исправляет внутренние указатели и восстанавливает хэш-таблицу

Просветите что за демон? На моей памяти так называли daemon tools.
3. A_Max 18 10.10.19 09:26 Сейчас в теме
(2) Термин из юникс систем ="Сервис".
4. IssakN 4 10.10.19 09:27 Сейчас в теме
(3)Благодарю. Век живи - век учись.
5. Chai Nic 146 10.10.19 16:47 Сейчас в теме
В экосистеме 1с8 подобный "теплый кэш", сохраняемый между перезапусками, пользуется очень нехорошей репутацией из-за отсутствия контроля его целостности и когерентности.. в результате "очистка кэша" стала действием номер 1 при глюках.
Оставьте свое сообщение

См. также

Microsoft призвала пользоваться PowerShell вместо CMD

Новость Infostart Software Partners Маркет Новости компаний

Microsoft порекомендовала пользоваться инструментом PowerShell вместо классического интерпретатора CMD (cmd.exe). Разработчики не будут заниматься доработкой CMD, но оставят его в системе для обеспечения совместимости. 

вчера в 09:56    310    user1015646    1       

Из реестра российского ПО могут удалить ОС на ядре Linux

Новость Linux Минкомсвязь

Правила, которыми руководствуется Минкомсвязь, запрещают добавлять в реестр ПО с компонентами, которые распространяются по свободным лицензиям GPL и MPL.

02.06.2020    471    user1015646    8       

Опубликован релиз платформы Electron 9.0.0 для создания приложений на базе движка Chromium

Новость Linux

Создатели обновления повысили эффективность обработчика событий окна в Linux, улучшили просмотрщик PDF и многое другое.

01.06.2020    576    SKravchenko    0       

Microsoft планирует объединить UWP и Win32-приложения при помощи проекта Reunion

Новость Новости компаний

Reunion призван объединить платформу разработчиков Windows, которая в настоящее время разбита между Win32 и универсальной платформой Windows (UWP).

29.05.2020    599    SKravchenko    0       

«Яндекс» запустил бесплатную облачную платформу для разработки нейросетей

Новость Искусственный интеллект Облачные технологии

«Яндекс» запустил новый сервис DataSphere, позволяющий проводить в облаке ресурсоемкие вычисления для машинного обучения. Во время тестирования услуга полностью бесплатна для разработчиков. 

29.05.2020    873    VKuser24342747    1       

В Беларуси заработал сервис видеоконференций на основе российской облачной платформы

Новость Облачные технологии Стартапы

Сервис видеоконференцсвязи на базе российской облачной платформы IVA MCU запустили в Беларуси. Услуги предоставляет республиканский провайдер облачных услуг beCloud. 

28.05.2020    456    user1015646    0       

Microsoft открыла исходники для 37-летнего языка GW-BASIC

Новость Новости компаний Языки программирования

Microsoft представила исходный код интерпретатора языка программирования GW-BASIC. 37 лет назад он был одним из самых популярных языков для написания программ и игр. 

28.05.2020    638    VKuser24342747    2       

Создатель Linux отказался от Intel в пользу AMD

Новость Linux Микроэлектроника

Линус Торвальдс стал использовать для работы компьютер на базе процессора AMD. Предыдущие 15 лет он отдавал предпочтение ПК на компонентах Intel. 

27.05.2020    839    user1015646    9       

Microsoft Build 2020: переход в онлайн и главные анонсы

Новость Infostart Software Partners Маркет Новости компаний

Компания Microsoft на конференции Build 2020 представила не только технологии будущего, но и полезные практические решения, которыми будут пользоваться миллионы людей по всему миру.

26.05.2020    1354    user1015646    1       

Microsoft создаст единую платформу для разработки под Windows

Новость Infostart Software Partners Маркет Новости компаний

Компания представила единую платформу для разработки под Windows, функционал для ответственного использования машинного обучения и другие инструменты для разработчиков. 

25.05.2020    1347    VKuser24342747    3       

Разработчик Node.js запустил новую JavaScript-платформу Deno 1.0

Новость Языки программирования

Создатель платформы для JavaScript-разработки Node.js Райан Даль выпустил первый официальный релиз нового проекта – Deno 1.0.

25.05.2020    743    user1015646    1       

Facebook создал тестовый клон своей сети и населил его умными ботами

Новость Соцсети

Компания Facebook разработала платформу-имитацию оригинальной соцсети. Ее населили ботами, чтобы разработчики отработали различные сценарии поведения без ущерба для пользователей

14.05.2020    968    user1015646    0       

GitHub представил сервис для облачной разработки Codespaces

Новость GitHub

Крупнейший сервис хранения репозиториев кода GitHub выпустил масштабное обновление – компания представила встроенную IDE с инструментами для облачной разработки Codespaces, форумы для обсуждения кода, средства защиты репозиториев и другие новшества

12.05.2020    1671    user1015646    1       

Состоялся релиз Linux-дистрибутива Ubuntu 20.04 LTS

Новость Linux Ubuntu

23 апреля, Canonical объявили о доступности дистрибутива Ubuntu 20.04 LTS, под кодовым названием Focal Fossa. Этот выпуск с долгосрочной поддержкой включает в себя новую тему для рабочего стола и темный режим. Под капотом вы найдете обновленное ядро Linux 5.4 и новый способ установки приложений.

08.05.2020    1518    SKravchenko    0       

Новые возможности видеомессенджера Google Duo

Новость Google Мессенджеры

Мессенджер Google Duo повысил качество видеозвонков благодаря новой технологии видеокодеков. Кроме этого разработчики добавили 4 новые функции, которые должны сделать его использование более комфортным.

07.05.2020    1136    SKravchenko    1       

Проверка на прочность: разработчиков заставили доказать надежность ОС «Аврора»

Новость ОС Безопасность Госзакупки Импортозамещение Мобильные приложения

Российская мобильная ОС «Аврора» должна была стать основной системой для смартфонов и планшетов, которые планировали закупать для чиновников и госкомпаний. Но чтобы госзакупки состоялись, правительство потребовало у разработчиков подтвердить надежность продукта.

07.05.2020    1671    user1015646    2       

Apple и Google объединились в борьбе с коронавирусом

Новость Mac OS Google

Apple и Google объединились для борьбы против COVID-19. В блогах компаний появился анонс разработки на основе Bluetooth, помогающей правительствам всего мира сдерживать распространение заражения

28.04.2020    1454    feva    3       

IBM возродит язык программирования COBOL

Новость Языки программирования

Компания IBM решила, что «древний» язык рано списывать со счетов, и намерена возродить его. 

28.04.2020    2091    user1015646    3       

Бесплатная конференция по управлению данными и искусственному интеллекту

Новость

24 апреля состоится бесплатная онлайн-конференция от сообщества лидеров цифровой трансформации Global CIO – «Управление данными и искусственный интеллект». 

22.04.2020    1446    kbazzh    0       

Git – 15 лет: как появилась и чего достигла самая популярная система контроля версий

Новость git

7 апреля система контроля версий Git отметила 15-летие. Решение, разработанное легендарным Линусом Торвальдсом, используют миллионы разработчиков по всему миру. Рассказываем, как создавалась система и почему она так популярна.

22.04.2020    2077    user1015646    0       

Нейросеть Microsoft будет помогать программистам допускать меньше багов

Новость ИТ-компания Искусственный интеллект Маркет Языки программирования

Microsoft планирует разработать ИИ, который сможет с большой вероятностью находить ошибки в коде. Искусственный интеллект сможет разделять их на критические, важные и малозначимые.

21.04.2020    1895    VKuser24342747    5       

Эксперты спрогнозировали рост рынка дата-центров из-за коронавируса

Новость Аналитика

Исследователи из iKS-Consulting пришли к выводу, что при позитивном сценарии развития пандемии российский рынок ЦОДов сохранит темп роста в 15%. При негативном произойдет замедление развития. 

20.04.2020    1425    VKuser24342747    0       

CorelDRAW Graphics Suite 2020: ИИ, быстродействие и возможность совместной работы

Новость Infostart Software Partners Искусственный интеллект Маркет

Разработчики снабдили пакет ИИ-технологиями, усовершенствовали производительность и добавили инструменты для совместной работы в облачном формате. 

16.04.2020    2109    iivanov1    13       

Российские медучреждения в прошлом году приобрели более 40 тыс. копий отечественных ОС

Новость Импортозамещение Медицина

Разработчики Astra Linux рассказали о популярности своей ОС в медицинских учреждениях. За прошлый год компания продала организациям здравоохранения более 24 тыс. лицензий. Еще 20 тыс. поставила «Базальт СПО».

15.04.2020    1515    VKuser24342747    0       

Нейросеть научили расшифровывать названия товаров в чеках

Новость

Для экономии знаков в чеках названия товарных позиций сокращают так, что они теряют всякий смысл в глазах покупателя. Российские разработчики создали нейросеть, которая поможет расшифровать подобные сокращения.

08.04.2020    1989    user1015646    2