Местный режим устанавливает: VI. Запрещение или ограничение использования воздушного пространства / КонсультантПлюс

Установление и использование структуры воздушного пространства / КонсультантПлюс

Установление и использование структуры

воздушного пространства

11. Границы зон (районов) Единой системы утверждаются Министерством транспорта Российской Федерации.

Организация использования воздушного пространства в зонах (районах) Единой системы осуществляется органами Единой системы.

12. Районом полетной информации является воздушное пространство в границах зоны (района) Единой системы, в пределах которого обеспечиваются полетно-информационное обслуживание и аварийное оповещение.

Районы полетной информации могут устанавливаться для неконтролируемых аэродромов, а также вертодромов и посадочных площадок в случае наличия на них органа (службы), предназначенного для обеспечения полетно-информационного обслуживания и аварийного оповещения.

13. Диспетчерским районом является контролируемое воздушное пространство выше 200 м от земной или водной поверхности в пределах района полетной информации.

В границах диспетчерского района может устанавливаться узловой диспетчерский район.

14. Диспетчерской зоной является контролируемое воздушное пространство в пределах района полетной информации, от земной или водной поверхности до высоты нижней границы диспетчерского района или высоты второго эшелона включительно, как правило, в радиусе не менее 10 км от контрольной точки аэродрома.

Диспетчерская зона может устанавливаться над 2 и более близко расположенными аэродромами.

В период, когда на аэродроме, вертодроме или посадочной площадке диспетчерское обслуживание воздушного движения органом обслуживания воздушного движения (управления полетами) не предоставляется, воздушное пространство класса C диспетчерской зоны классифицируется как воздушное пространство класса G, за исключением воздушного пространства, в котором диспетчерское обслуживание предоставляется другим органом обслуживания воздушного движения (управления полетами).

(абзац введен Постановлением Правительства РФ от 05. 09.2011 N 743; в ред. Постановлений Правительства РФ от 14.02.2017 N 182, от 02.12.2020 N 1991)

15. Маршрут обслуживания воздушного движения в соответствующих случаях обозначает воздушную трассу, маршрут зональной навигации, местную воздушную линию.

16. Ширина воздушной трассы устанавливается:

10 км (по 5 км в обе стороны от оси воздушной трассы) — при использовании системы наблюдения обслуживания воздушного движения;

20 км (по 10 км в обе стороны от оси воздушной трассы) — без использования системы наблюдения обслуживания воздушного движения.

Расстояние между границами параллельных воздушных трасс в горизонтальной плоскости при использовании системы наблюдения обслуживания воздушного движения должно быть не менее 20 км, а без использования системы наблюдения обслуживания воздушного движения — не менее 40 км.

Обеспечение оборудования воздушных трасс необходимыми средствами навигации осуществляется Федеральным агентством воздушного транспорта.

17. Маршрут зональной навигации устанавливается в соответствии с типом требуемых навигационных характеристик, который может быть обеспечен при полете по такому маршруту.

Типы требуемых навигационных характеристик для маршрутов зональной навигации и соответствующие им навигационные спецификации (RNAV, RNP) утверждаются Министерством транспорта Российской Федерации.

Полеты по маршрутам зональной навигации с соответствующими навигационными спецификациями (RNAV, RNP) осуществляются воздушными судами, оборудованными для применения навигации, основанной на характеристиках (PBN).

Воздушные суда, не оборудованные для применения навигации, основанной на характеристиках (PBN), могут выполнять полет по маршруту зональной навигации после получения командиром воздушного судна диспетчерского разрешения соответствующего органа обслуживания воздушного движения (управления полетами).

18. Местные воздушные линии открываются для полетов на высоте ниже эшелона перехода. Ширина местной воздушной линии должна быть не более 4 км.

Воздушное пространство, выделенное для местной воздушной линии, классифицируется как воздушное пространство класса C.

В период, когда на местных воздушных линиях диспетчерское обслуживание воздушного движения органом обслуживания воздушного движения (управление полетами) не предоставляется, воздушное пространство местной воздушной линии классифицируется как воздушное пространство класса G.

18(1). Использование условных маршрутов (участков маршрутов) обслуживания воздушного движения обеспечивает гибкое использование воздушного пространства.

Условные маршруты (участки маршрутов) обслуживания воздушного движения подразделяются на следующие категории:

условный маршрут первой категории (CDR1) — маршрут (участок маршрута) обслуживания воздушного движения, период использования которого заблаговременно опубликован в Сборнике аэронавигационной информации Российской Федерации;

условный маршрут второй категории (CDR2) — маршрут (участок маршрута) обслуживания воздушного движения, период использования которого публикуется только в бюллетене доступности воздушного пространства;

условный маршрут третьей категории (CDR3) — маршрут (участок маршрута) обслуживания воздушного движения, использование которого разрешается органом обслуживания воздушного движения в ходе диспетчерского обслуживания при выполнении процедуры координации, определенной пунктом 35 настоящих Федеральных правил.

Пользователи воздушного пространства указывают CDR1 и CDR2 в планах полетов воздушных судов, если планируемое время использования указанных условных маршрутов совпадает со временем, опубликованным в документах аэронавигационной информации.

19. Маршруты обслуживания воздушного движения и данные о воздушном пространстве свободной маршрутизации, в том числе условия использования маршрутов обслуживания воздушного движения и воздушного пространства свободной маршрутизации для полетов воздушных судов иностранных государств публикуются Федеральным агентством воздушного транспорта в документах аэронавигационной информации.

20. Использование гражданскими воздушными судами воздушного пространства классов A и C вне маршрутов обслуживания воздушного движения и вне воздушного пространства свободной маршрутизации осуществляется при наличии диспетчерского разрешения, выданного органом обслуживания воздушного движения (управления полетами).

При осуществлении спрямления маршрута полета орган обслуживания воздушного движения информирует зональный (региональный) центр Единой системы и орган противовоздушной обороны.

21. Для аэродромов (вертодромов) гражданской, государственной и экспериментальной авиации устанавливаются районы аэродромов (вертодромов).

22. При определении границ районов аэродромов (вертодромов) должны учитываться схемы вылета и захода на посадку, ухода на второй круг, полета в зоне ожидания, а также стандартные маршруты вылета и прилета, маршруты входа (выхода) на воздушные трассы, местные воздушные линии и специальные зоны.

Схемы вылета и захода на посадку, ухода на второй круг должны исключать, а при невозможности исключения — максимально ограничивать пролет воздушных судов над населенными пунктами, опасными производственными объектами.

Границы районов аэродромов (аэроузлов, вертодромов) утверждаются Министерством транспорта Российской Федерации.

Схемы маневрирования публикуются в Сборнике аэронавигационной информации Российской Федерации с отображением значений высот в футах (по давлению QNH аэродрома) и в метрах (по давлению QFE).

Порядок разработки схем маневрирования воздушных судов гражданской авиации для аэродромов (вертодромов), информация о которых публикуется в Сборнике аэронавигационной информации Российской Федерации, устанавливается федеральными авиационными правилами, утвержденными в соответствии со статьей 69 Воздушного кодекса Российской Федерации.

23. Абзацы первый — второй утратили силу с 17 ноября 2011 года. — Постановление Правительства РФ от 05.09.2011 N 743.

На аэродроме устанавливается полоса воздушных подходов (воздушное пространство в установленных границах), примыкающая к взлетно-посадочной полосе, в которой воздушные суда производят набор высоты после взлета и снижение при заходе на посадку. Границы полос воздушных подходов устанавливаются в порядке, определенном Министерством транспорта Российской Федерации, Министерством обороны Российской Федерации, Министерством промышленности и торговли Российской Федерации соответственно для гражданской, государственной и экспериментальной авиации.

24. Пользователи воздушного пространства Российской Федерации, экипажи воздушных судов при выполнении полетов и диспетчеры управления воздушным движением при обслуживании воздушного движения руководствуются аэронавигационной информацией.

Аэронавигационная информация предоставляется пользователям воздушного пространства Федеральным агентством воздушного транспорта.

Абзац утратил силу. — Постановление Правительства РФ от 02.12.2020 N 1991.

Порядок разработки аэронавигационной информации, а также правила предоставления аэронавигационной информации устанавливаются Министерством транспорта Российской Федерации.

25. Утратил силу с 17 ноября 2011 года. — Постановление Правительства РФ от 05.09.2011 N 743.

26. Для аэродрома (вертодрома, посадочной площадки) гражданской авиации, аэронавигационная информация о котором публикуется в Сборнике аэронавигационной информации Российской Федерации, разрабатывается аэронавигационный паспорт аэродрома (вертодрома, посадочной площадки), порядок разработки и применения которого устанавливается Министерством транспорта Российской Федерации.

Для аэродрома (вертодрома, посадочной площадки) государственной авиации, включая аэродром совместного использования, и аэродрома (вертодрома, посадочной площадки) экспериментальной авиации разрабатывается инструкция по производству полетов в районе аэродрома (вертодрома, посадочной площадки), порядок разработки и применения которой устанавливается соответственно Министерством обороны Российской Федерации и Министерством промышленности и торговли Российской Федерации.

27. Типовые инструкции по производству полетов в районе аэродрома (аэроузла, вертодрома), а также типовая схема аэронавигационного паспорта аэродрома (вертодрома, посадочной площадки) утверждаются Министерством транспорта Российской Федерации.

28. В контролируемом воздушном пространстве для выполнения полетов вне маршрутов обслуживания воздушного движения полеты воздушных судов выполняются по маршрутам. Ширина маршрута соответствует:

а) ниже эшелона перехода:

при скорости полета не более 300 км/ч — 4 км;

при скорости полета более 300 км/ч — 10 км;

б) от эшелона перехода включительно и выше:

в районах, обеспеченных системой наблюдения обслуживания воздушного движения, — 10 км;

в районах, не обеспеченных системой наблюдения обслуживания воздушного движения, — 20 км.

29. Запретные зоны устанавливаются в воздушном пространстве Российской Федерации для защиты важных государственных объектов, ключевых промышленных комплексов (атомных электростанций, ядерно-радиационных объектов, химически опасных объектов, а также других особо важных объектов с точки зрения национальной безопасности страны) от вредных воздействий и разрушений, возникающих в результате возможных происшествий в воздушном пространстве.

30. Опасные зоны устанавливаются над открытым морем в интересах следующих видов деятельности:

а) обеспечение запуска и посадки космических объектов;

б) проведение поисково-спасательных работ;

в) выполнение ракетно-артиллерийских стрельб на полигонах боевой подготовки Военно-Морского Флота;

г) выполнение полетов на испытания, исследования авиационной и ракетной техники, на установление рекордов;

д) проведение учений, показов новой военно-морской техники;

е) обеспечение пусков и падения ракет, падения их отделяющихся частей.

31. Опасные зоны устанавливаются в воздушном пространстве Российской Федерации в районах лесных пожаров и вулканической деятельности, промышленных районах с постоянной повышенной задымленностью.

32. Опасные зоны устанавливаются как для использования на определенный период времени (временные опасные зоны), так и для обеспечения деятельности, осуществляемой на постоянной основе (постоянные опасные зоны).

Временная опасная зона устанавливается главным центром Единой системы и доводится посредством извещения NOTAM. Для установления временной опасной зоны пользователи воздушного пространства, в интересах которых устанавливается временная опасная зона, не позднее чем за 5 суток до ввода в действие временной опасной зоны представляют в главный центр Единой системы запрос на установление временной опасной зоны с указанием ее границ и характера осуществляемой деятельности.

33. Зоны ограничения полетов устанавливаются в воздушном пространстве Российской Федерации для введения особых условий, ограничивающих полеты воздушных судов.

Зоны ограничения полетов, в которых особые условия ограничивают полеты воздушных судов на постоянной основе (постоянные зоны ограничения полетов), устанавливаются над охраняемыми объектами или особо важными государственными объектами.

Постоянные зоны ограничения полетов могут устанавливаться над государственными природными заповедниками, национальными парками, памятниками истории и культуры.

Зоны ограничения полетов, в которых особые условия временно обеспечивают безопасность использования воздушного пространства других пользователей (временные зарезервированные зоны ограничения полетов), устанавливаются при:

проведении на полигонах стрельб, пусков ракет, бомбометаний, десантирования;

проведении стрельб для обеспечения защиты сельскохозяйственных растений от градобития, регулирования осадков и в ходе работы противолавинных служб;

проведении работ с боеприпасами на объектах их хранения;

осуществлении научных исследований в атмосфере;

проведении взрывных работ;

выполнении полетов в специальных зонах вне районов аэродромов (вертодромов).

34. Временная зарезервированная зона ограничения полетов устанавливается в соответствии с пунктом 38 настоящих Федеральных правил и может быть введена в действие только после опубликования сведений о ней Федеральным агентством воздушного транспорта в документах аэронавигационной информации.

Ввод в действие (активация) временной зарезервированной зоны ограничения полетов осуществляется на основании плана использования воздушного пространства либо графика работы, поступившего от пользователя воздушного пространства, в интересах которого она установлена, в зональный (региональный) центр Единой системы.

Данные о действии временной зарезервированной зоны ограничения полетов указываются в бюллетене доступности воздушного пространства.

35. В период, когда действует временная зарезервированная зона ограничений полетов, через воздушное пространство такой зоны могут выполняться транзитом полеты воздушных судов других пользователей воздушного пространства по установленным условным маршрутам обслуживания воздушного движения.

Указанные условные маршруты обслуживания воздушного движения устанавливаются по согласованию с пользователем воздушного пространства, в интересах которого установлена временная зарезервированная зона ограничений полетов.

Процедуры координации при использовании условных маршрутов обслуживания воздушного движения, включая вопросы обеспечения безопасности использования воздушного пространства, определяются пользователем воздушного пространства, в интересах которого установлена временная зарезервированная зона ограничений полетов, и зональным (региональным) центром Единой системы, в зоне ответственности которого она находится.

36. Утратил силу. — Постановление Правительства РФ от 02.12.2020 N 1991.

37. В случае возникновения опасности непреднамеренного влета воздушных судов в зону ограничения полетов, а также в случаях, предусмотренных подпунктами «б» — «г» пункта 39 настоящих Федеральных правил, деятельность по использованию воздушного пространства в указанных зонах должна быть ограничена или прекращена.

38. Запретные зоны, зоны ограничения полетов (постоянные зоны ограничения полетов, временные зарезервированные зоны ограничения полетов) и постоянные опасные зоны устанавливаются Министерством транспорта Российской Федерации по представлению лиц, заинтересованных в установлении таких зон.

39. Использование воздушного пространства в запретных зонах, а также в постоянных зонах ограничения полетов запрещается, за исключением:

а) использования воздушного пространства лицами, в интересах которых установлены такие зоны;

б) выполнения полетов на перехват воздушных судов-нарушителей, а также выполнения других оперативных заданий в интересах государства;

в) выполнения полетов в целях проведения поисково-спасательных работ и работ по оказанию помощи при чрезвычайных ситуациях;

г) выполнения полетов воздушных судов, осуществляемых в соответствии со специальными международными договорами.

40. Пользователи воздушного пространства обязаны для использования воздушного пространства в запретных зонах и постоянных зонах ограничения полетов в случаях, не предусмотренных пунктом 39 настоящих Федеральных правил, получить разрешение лиц, в интересах которых установлены такие зоны, а об использовании воздушного пространства в случаях, предусмотренных подпунктами «б» — «г» пункта 39 настоящих Федеральных правил, в запретных зонах, установленных в интересах Федеральной службы охраны Российской Федерации, за исключением случаев использования воздушного пространства, направленных на защиту государства от угроз военного или террористического характера, уведомить Федеральную службу охраны Российской Федерации.

Почтовые адреса, телефоны, частоты радиосвязи авиационного диапазона лиц, наделенных полномочиями по выдаче разрешений на выполнение деятельности в воздушном пространстве запретных зон и постоянных зон ограничения полетов, а также по приему уведомлений об использовании воздушного пространства таких зон, предоставляются пользователям воздушного пространства Федеральным агентством воздушного транспорта.

Указанная информация публикуется на официальном сайте Федерального агентства воздушного транспорта в сети Интернет и включается в аэронавигационную информацию.

41. Специальные зоны, установленные маршруты набора высоты, снижения и захода на посадку должны быть удалены друг от друга и от границ маршрутов обслуживания воздушного движения в горизонтальной плоскости при использовании систем наблюдения обслуживания воздушного движения на расстояние не менее 10 км, а без использования систем наблюдения — не менее 20 км.

В районах аэродромов (аэроузлов) с ограниченным воздушным пространством указанные значения могут быть сокращены в 2 раза. В этих случаях специальные зоны, установленные маршруты набора высоты, снижения и захода на посадку должны быть удалены друг от друга и от границ воздушных трасс, маршрутов зональной навигации и местных воздушных линий в вертикальной плоскости на расстояние не менее 300 м.

42. В случае отсутствия интервалов между границами районов аэродромов выполнение одновременных полетов при использовании системы наблюдения обслуживания воздушного движения возможно при условии удаления схем взлета и захода на посадку, маршрутов полета, специальных зон на расстояние не ближе 5 км от границы района аэродрома, а без использования системы наблюдения одновременные полеты в районах аэродромов запрещаются или устанавливаются интервалы между границами указанных элементов структуры воздушного пространства в вертикальной плоскости, составляющие 600 м.

43. Над территорией Российской Федерации вдоль ее государственной границы устанавливается приграничная полоса — воздушное пространство, примыкающее к государственной границе Российской Федерации, шириной 25 км с особым режимом его использования.

Приграничная полоса вдоль государственной границы Российской Федерации в Северном Ледовитом океане не устанавливается.

44. Запрещаются полеты в приграничной полосе без представления плана полета воздушного судна, разрешения на использование воздушного пространства и без радиосвязи экипажа воздушного судна с органом обслуживания воздушного движения (управления полетами).

45. При использовании воздушного пространства приграничной полосы вынужденные отклонения от маршрута обслуживания воздушного движения и маршрута полета производятся, как правило, в сторону территории Российской Федерации от государственной границы Российской Федерации.

46. Использование воздушного пространства приграничной полосы при выполнении авиационных работ осуществляется при наличии у пользователей воздушного пространства разрешения территориального органа Федеральной службы безопасности Российской Федерации.

47. В целях предотвращения непреднамеренного нарушения государственной границы Российской Федерации:

а) органы обслуживания воздушного движения (управления полетами) аэродромов (вертодромов), находящихся в приграничной полосе, должны иметь систему наблюдения обслуживания воздушного движения;

б) пункты управления беспилотным воздушным судном, находящиеся в приграничной полосе, должны иметь систему наблюдения, позволяющую осуществлять контроль за полетом беспилотного воздушного судна.

47(1). В случае непреднамеренной посадки воздушного судна в приграничной полосе пользователь воздушного пространства должен немедленно сообщить о местонахождении воздушного судна в соответствующий орган Единой системы.

48. Полеты воздушных судов над населенными пунктами в целях осуществления мероприятий по спасанию жизни и охране здоровья людей, а также пресечения и раскрытия преступлений могут выполняться на высоте, обеспечивающей реализацию указанных мероприятий, с возложением ответственности за обеспечение безопасности выполнения полетов на уполномоченное лицо, организующее такие полеты.

В указанных случаях разрешается посадка (взлет) в границах населенных пунктов на площадки, сведения о которых не опубликованы в документах аэронавигационной информации, при обеспечении безопасности ее выполнения уполномоченным лицом, организующим такие полеты.

49. Авиационные работы, парашютные прыжки, демонстрационные полеты воздушных судов, полеты беспилотных воздушных судов (за исключением полетов беспилотных воздушных судов с максимальной взлетной массой менее 0,25 кг), подъемы привязных аэростатов над населенными пунктами, а также посадка (взлет) на расположенные в границах населенных пунктов площадки, сведения о которых не опубликованы в документах аэронавигационной информации, выполняются при наличии у пользователей воздушного пространства разрешения соответствующего органа местного самоуправления, а в городах федерального значения Москве, Санкт-Петербурге и Севастополе — разрешения соответствующих органов исполнительной власти указанных городов.

(в ред. Постановлений Правительства РФ от 14.02.2017 N 182, от 03.02.2020 N 74)

50. Использование воздушного пространства при полетах воздушных судов на сверхзвуковых скоростях разрешается только в специальных зонах или на высоте более 11000 м.

51. Использование воздушного пространства при выполнении полетов с палубы военного корабля или невоенного судна в воздушном пространстве классов A и C над территорией Российской Федерации, а также за ее пределами, где ответственность за организацию воздушного движения возложена на Российскую Федерацию, осуществляется на основании плана полета воздушного судна и разрешения на использование воздушного пространства.

52. Использование воздушного пространства беспилотным воздушным судном в воздушном пространстве классов A, C и G осуществляется на основании плана полета воздушного судна и разрешения на использование воздушного пространства.

Использование воздушного пространства беспилотным воздушным судном осуществляется посредством установления временного и местного режимов, а также кратковременных ограничений в интересах пользователей воздушного пространства, организующих полеты беспилотных воздушных судов.

52(1). Положения пункта 52 настоящих Правил не применяются в случае выполнения визуальных полетов беспилотных воздушных судов с максимальной взлетной массой до 30 кг, осуществляемых в пределах прямой видимости в светлое время суток на высотах менее 150 метров от земной или водной поверхности:

а) вне диспетчерских зон аэродромов гражданской авиации, районов аэродромов (вертодромов) государственной и экспериментальной авиации, запретных зон, зон ограничения полетов, специальных зон, воздушного пространства над местами проведения публичных мероприятий, официальных спортивных соревнований, а также охранных мероприятий, проводимых в соответствии с Федеральным законом «О государственной охране»;

б) на удалении не менее 5 км от контрольных точек неконтролируемых аэродромов и посадочных площадок.

53. Использование воздушного пространства аэростатами и дирижаблями в воздушном пространстве классов A и C осуществляется на основании плана полета воздушного судна и разрешения на использование воздушного пространства.

54. Использование воздушного пространства при запусках ракет-зондов, радиозондов, шаров-пилотов и подобных материальных объектов (далее — шары-зонды), осуществляемых в единые международные сроки с целью получения метеорологических данных о состоянии атмосферы, производится в соответствии с расписаниями (выписками из годовых планов).

Расписания (выписки из годовых планов) представляются территориальными органами Федеральной службы по гидрометеорологии и мониторингу окружающей среды в зональные центры Единой системы и штабы командований Военно-воздушных сил и противовоздушной обороны ежегодно, до 15 декабря. Об изменении расписания запусков шаров-зондов сообщается не позднее чем за 15 суток.

Разовые запуски шаров-зондов производятся на основании планов использования воздушного пространства и разрешений на использование воздушного пространства.

Размещение стационарных пунктов запуска шаров-зондов, а также место запуска шаров-зондов с подвижных пунктов согласовываются с Федеральным агентством воздушного транспорта.

55. В воздушном пространстве Российской Федерации, в районах локальных вооруженных конфликтов и контртеррористических операций устанавливается особый режим использования воздушного пространства.

Особый режим использования воздушного пространства устанавливается Федеральным агентством воздушного транспорта по представлению Генерального штаба Вооруженных Сил Российской Федерации.

56. Использование воздушного пространства при проведении салютов и фейерверков высотой более 50 метров, а также в границах проекции полос воздушных подходов на земную или водную поверхность вне зависимости от высоты салютов и фейерверков осуществляется с разрешения оперативного органа Единой системы.

56(1). Применение лазеров и изделий на основе лазеров в направлении осуществляющих руление, взлет, посадку и полет пилотируемых воздушных судов запрещается, за исключением лазерных излучателей, входящих в состав оборудования, применяемого в целях обеспечения полетов пилотируемых воздушных судов.

57. Запуск и посадка космических объектов, в том числе иностранных, на территории Российской Федерации производятся в пределах границ полигонов, утвержденных Правительством Российской Федерации.

В случае аварийной ситуации и других непредвиденных обстоятельств при осуществлении космической деятельности посадка космических объектов может производиться вне границ полигонов.

Государственная корпорация по космической деятельности «Роскосмос» и Министерство обороны Российской Федерации уведомляют Федеральное агентство воздушного транспорта, заинтересованные органы государственной власти и органы местного самоуправления о районе и времени посадки космических объектов.

58 — 60. Утратили силу. — Постановление Правительства РФ от 02.12.2017 N 1460.

61. При строительстве, реконструкции, сносе объекта капитального строительства вне границ приаэродромной территории застройщик (технический заказчик работ по сносу объекта) в срок не более 30 дней информирует территориальный орган Федерального агентства воздушного транспорта лично на бумажном носителе, или посредством почтового отправления с уведомлением о вручении, или в форме электронного документа с использованием информационно-телекоммуникационной сети «Интернет», заверенного усиленной квалифицированной электронной подписью:

а) о достижении объектом капитального строительства высоты 50 метров над уровнем поверхности земли с указанием геодезических координат такого объекта и его проектной высоты;

б) о завершении строительства, реконструкции объекта капитального строительства высотой 50 метров и более над уровнем поверхности земли с указанием его геодезических координат и высоты над уровнем поверхности земли — в случае соответствия фактической высоты такого объекта его проектной высоте;

в) о незавершенном объекте капитального строительства высотой 50 метров и более над уровнем поверхности земли при прекращении строительства, реконструкции с указанием его геодезических координат и высоты над уровнем поверхности земли — в случае несоответствия фактической высоты такого объекта его проектной высоте;

г) о сносе объекта капитального строительства высотой 50 метров и более с указанием его геодезических координат.

62. Взаимодействие органов обслуживания воздушного движения (управления полетами) при организации использования воздушного пространства осуществляется по каналам связи, которые организуются:

а) между органами Единой системы — Федеральным агентством воздушного транспорта;

б) между органами Единой системы и органами противовоздушной обороны — Министерством обороны Российской Федерации;

в) между органами Единой системы и пользователями воздушного пространства — соответствующими пользователями воздушного пространства.

63. Отключение каналов связи между органами обслуживания воздушного движения (управления полетами) запрещается.

63(1). Порядок разработки и представления предложений по совершенствованию структуры воздушного пространства Российской Федерации устанавливается Министерством транспорта Российской Федерации.

Для полетов беспилотных воздушных судов (БВС)

ПОРЯДОК ИСПОЛЬЗОВАНИЯ ВОЗДУШНОГО ПРОСТРАНСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ БЕСПИЛОТНЫМИ ВОЗДУШНЫМИ СУДАМИ (БВС)

В последнее время отмечается значительное увеличение количества случаев нарушений порядка использования воздушного пространства Российской Федерации (далее — нарушения), допущенных гражданами — владельцами беспилотных воздушных судов (далее — БВС).

Наибольшую опасность представляли случаи несанкционированного запуска БВС в районах аэродромов (вертодромов, посадочных площадок), которые могли повлечь за собой угрозу для безопасности полетов, а также запуски БВС над населенными пунктами, представляющие угрозу для безопасности людей и объектов на земле.

Основное количество нарушений было совершено владельцами БВС с максимальной взлетной массой до 30 кг при выполнении полетов в частных целях.

В большинстве случаев допускаемые нарушения связаны с незнанием владельцами БВС правил использования воздушного пространства Российской Федерации и факторов опасности, связанных с запуском БВС.

В целях исключения случаев несанкционированных запусков беспилотных гражданских воздушных судов обращаем внимание граждан — владельцев БВС на следующие требования воздушного законодательства Российской Федерации.

Беспилотные гражданские воздушные суда с максимальной взлетной массой от 0,25 килограмма до 30 килограммов, ввезенные в Российскую Федерацию или произведенные в Российской Федерации, подлежат учету в порядке, установленном Правилами учета беспилотных гражданских воздушных судов с максимальной взлетной массой от 0,25 килограмма до 30 килограммов, ввезенных в Российскую Федерацию или произведенных в Российской Федерации, утвержденными постановлением Правительства Российской Федерации от 25. 05.2019 № 658, и Административным регламентом Федерального агентства воздушного транспорта предоставления государственной услуги по учету беспилотных гражданских воздушных судов с максимальной взлетной массой от 0,25 килограмма до 30 килограммов, ввезенных в Российскую Федерацию или произведенных в Российской Федерации, утвержденным приказом Росавиации от 28.10.2019 № 1040-П.

Беспилотные гражданские воздушные суда с максимальной взлетной массой более 30 килограммов подлежат государственной регистрации в порядке, установленном Административным регламентом Федерального агентства воздушного транспорта предоставления государственной услуги по государственной регистрации гражданских воздушных судов и ведению государственного реестра гражданских воздушных судов Российской Федерации«, утвержденным приказом Минтранса России от 05.12.2013 № 457.

Полеты БВС отнесены к деятельности по использованию воздушного пространства. Физические или юридические лица, планирующие осуществлять запуски БВС, должны знать и выполнять правила и процедуры, установленные воздушным законодательством Российской Федерации в сфере использования воздушного пространства.

Порядок использования воздушного пространства Российской Федерации, в том числе и БВС, установлен Федеральными правилами использования воздушного пространства Российской Федерации, утвержденными постановлением Правительства Российской Федерации от 11.03.2010 № 138 (далее — Федеральные правила).

Для выполнения полетов БВС Федеральными правилами установлен разрешительный порядок использования воздушного пространства, независимо от класса воздушного пространства, в котором выполняется полет.

Разрешительный порядок использования воздушного пространства предусматривает направление в оперативные органы (центры) Единой системы организации воздушного движения Российской Федерации (далее — ЕС ОрВД) представленного плана полета воздушного судна (БВС), а также получение разрешения центра ЕС ОрВД на использование воздушного пространства, за исключением полетов БВС, предусмотренных пунктом 52 (1) Федеральных правил.

Направление представленного плана полета воздушного судна (БВС) в центры ЕС ОрВД осуществляется пользователем воздушного пространства (гражданином — владельцем БВС) в соответствии с Табелем сообщений о движении воздушных судов в Российской Федерации, утвержденным приказом Минтранса России от 24. 01.2013 № 13.

На сайте ФГУП «Госкорпорация по ОрВД» для владельцев БВС с максимальной взлетной массой от 0,25 килограмма до 30 килограммов, прошедших процедуру учета БВС в Российской Федерации, предоставлена возможность самостоятельной регистрации в Системе представления планов полетов по сети Интернет и телефонной сети (СППИ) и направления в оперативные органы ЕС ОрВД представлений на установление временного и местного режимов, а также плана полета БВС.

Для владельцев БВС, которые не прошли вышеуказанную процедуру, предусмотрена возможность представления планов полетов в центры ЕС ОрВД по телефону (факсу). Контактная информация, необходимая для направления плана полета воздушного судна (БВС), размещена на информационно-телекоммуникационных ресурсах в сети «Интернет» (далее — сеть «Интернет») www.ivprf.ru и http://gkovd.ru/servisy/

Использование воздушного пространства БВС осуществляется посредством установления временного и местного режимов, а также кратковременных ограничений в интересах пользователей воздушного пространства, организующих полеты БВС.

Представления на установление временного и местного режимов подаются пользователями воздушного пространства в соответствии с Инструкцией по разработке, установлению, введению и снятию временного и местного режимов, а также кратковременных ограничений, утвержденной приказом Минтранса России от 27.06.2011 № 171.

Планирование и координирование использования воздушного пространства осуществляется центрами ЕС ОрВД в соответствии с федеральными авиационными правилами «Организация планирования использования воздушного пространства Российской Федерации», утвержденными приказом Минтранса России от 16.01.2012 № 6.

При необходимости использования воздушного пространства БВС (за исключением полетов беспилотных воздушных судов с максимальной взлетной массой менее 0,25 кг) над населенным пунктом пользователю воздушного пространства (гражданину — владельцу БВС) в соответствии с пунктом 49 Федеральных правил дополнительно необходимо получить разрешение органа местного самоуправления такого населенного пункта, а в городах федерального значения Москве, Санкт-Петербурге и Севастополе — разрешения соответствующих органов исполнительной власти указанных городов.

Пунктом 52(1) Федеральных правил предусмотрен упрощенный порядок использования воздушного пространства в случае выполнения визуальных полетов БВС с максимальной взлетной массой до 30 кг, осуществляемых в пределах прямой видимости в светлое время суток на высотах менее 150 метров от земной или водной поверхности в воздушном пространстве:

• вне диспетчерских зон аэродромов гражданской авиации, районов аэродромов (вертодромов) государственной и экспериментальной авиации, запретных зон, зон ограничения полетов, специальных зон, воздушного пространства над местами проведения публичных мероприятий, официальных спортивных соревнований, а также охранных мероприятий, проводимых в соответствии с Федеральным законом «О государственной охране»;
• на удалении более 5 км от контрольных точек неконтролируемых аэродромов и посадочных площадок.

Для выполнения вышеуказанных полетов БВС не требуется представление соответствующего плана полета, получение разрешения на использование воздушного пространства, а также направление представления на установление временных, местных режимов и кратковременных ограничений.

Актуальная информация о границах и условиях использования элементов структуры воздушного пространства публикуется в Сборнике аэронавигационной информации Российской Федерации и находится в сети «Интернет» на сайте филиала «Центр Аэронавигационной Информации» ФГУП «Госкорпорация по ОрВД» — www.caica.ru, в разделе ENR 2 «Воздушное пространство ОВД» по адресам:
http://www.caica.ru/common/AirIntcr/validaip/html/rus.htm;
http://www.caica.ru/common/AirClassABV/validaip2/html/rus.htm;
http://www.caica.ru/common/AirClassGDE/validaip4/html/rus.htm.

При планировании полетов БВС следует обратить внимание, что над территорией Российской Федерации вдоль ее государственной границы устанавливается приграничная полоса — воздушное пространство, примыкающее к государственной границе Российской Федерации, шириной 25 км с особым режимом его использования.

В приграничной полосе запрещены полеты без представления плана полета воздушного судна, разрешения на использование воздушного пространства и без радиосвязи экипажа воздушного судна с органом обслуживания воздушного движения (управления полетами).

Использование воздушного пространства приграничной полосы при выполнении авиационных работ осуществляется при наличии у пользователей воздушного пространства разрешения территориального органа Федеральной службы безопасности Российской Федерации.

В целях предотвращения непреднамеренного нарушения государственной границы Российской Федерации, пункты управления БВС, находящиеся в приграничной полосе, должны иметь систему наблюдения, позволяющую осуществлять контроль за полетом БВС.

Соответствующими приказами Минтранса России в воздушном пространстве Российской Федерации установлены запретные зоны и зоны ограничения полетов, информация по которым находится в открытом доступе в сети «Интернет».

Согласно пункту 40 Федеральных правил, при необходимости использования воздушного пространства запретных зон и зон ограничения полетов, пользователи воздушного пространства (граждане — владельцы БВС) обязаны получить разрешение лиц, в интересах которых установлены такие зоны. Почтовые адреса, телефоны, частоты радиосвязи авиационного диапазона лиц, наделенных полномочиями по выдаче таких разрешений опубликованы на официальном сайте Федерального агентства воздушного транспорта в сети «Интернет».

За нарушение правил использования воздушного пространства Кодексом Российской Федерации об административных правонарушениях (ст. 11.4) установлена соответствующая ответственность граждан, должностных и юридических лиц.

План полета БВС и представление на установление временного и местного режимов пользователи воздушного пространства могут подать на нижеуказанные номера телефонов и адреса электронной почты оперативных органов ЕС ОрВД:

Оперативные органы ЕС ОрВД	Электронная почта	Телефон/Факс
Главный центр ЕС ОрВД (Москва)	regimivp@matfmc. ru	+7 (495) 601-06-64
Зональный центр ЕС ОрВД (Санкт-Петербург)	[email protected]	+7 (812) 305-30-39
Региональный центр ЕС ОрВД (Москва)	[email protected]	+7 (495) 436-70-50 +7 (495) 436-20-91
Региональный центр ЕС ОрВД (Ростов-на-Дону)	[email protected]	+7 (863) 272-32-94
Региональный центр ЕС ОрВД (Симферополь)	[email protected]	+7 (978) 922-80-29 +7 (3652) 60-52-82
Региональный центр ЕС ОрВД (Самара)	zc_samara@mail. ru [email protected]	+7 (846) 279-18-41
Региональный центр ЕС ОрВД (Екатеринбург)	[email protected]	+7 (343) 205-80-67 с 03.00 до 15.00 (время UTC) +7 (343) 205-80-69 с 15.00 до 03.00 (время UTC)
Региональный центр ЕС ОрВД (Тюмень)	[email protected]	+7 (3452) 29-38-84
Региональный центр ЕС ОрВД (Новосибирск)	[email protected]	+7 (383) 319-09-18 +7 (383) 319-00-09
Региональный центр ЕС ОрВД (Красноярск)	[email protected]	+7 (391) 252-62-46 +7 (391) 252-62-45 +7 (391) 252-60-40 факс
Региональный центр ЕС ОрВД (Иркутск)	pvd@vs. gkovd.ru	+7 (3952) 52-29-19
Региональный центр ЕС ОрВД (Якутск)	[email protected]	+7 (4112) 44-30-39 +7 (4112) 49-64-64
Региональный центр ЕС ОрВД (Магадан)	[email protected]	+7 (4132) 60-50-03
Региональный центр ЕС ОрВД (Хабаровск)	[email protected]	+7 (4212) 41-86-15 +7 (914) 161-56-04

ФЕДЕРАЛЬНЫЙ КОНСТИТУЦИОННЫЙ ЗАКОН ОТ 30 ЯНВАРЯ 2002 Г. № 1-ФКЗ «О ВОЕННОМ ПОЛОЖЕНИИ»

Определяет содержание режима военного положения, регламентирует порядок и основания введения и отмены военного положения, устанавливает полномочия органов государственной власти и органов местного самоуправления по обеспечению режима военного положения, основания и порядок привлечения Вооруженных Сил РФ, др. войск, воинских формирований и органов для обеспечения режима военного положения, правовое положение граждан и организаций в условиях военного положения.

Военное положение – это особый правовой режим, вводимый на территории РФ или в отдельных ее местностях в соответствии с Конституцией РФ Президентом РФ в случае агрессии против РФ или непосредственной угрозы агрессии.

Военное положение вводится указом Президента РФ с незамедлительным сообщением СФ и ГД. Указ незамедлительно передается на утверждение СФ. Вопрос об утверждении указа Президента РФ о введении военного положения должен быть рассмотрен СФ в течение 48 часов с момента получения этого указа, и только в силу чрезвычайных и непредотвратимых обстоятельств такой вопрос может быть рассмотрен позднее вышеуказанного срока. Решение о введении военного положения принимается большинством голосов от общего числа членов СФ и оформляется соответствующим постановлением. Указ подлежит незамедлительному официальному опубликованию.

Указ Президента РФ о введении военного положения, не утвержденный СФ, прекращает действие со следующего дня после дня принятия такого решения, о чем население РФ или соответствующих ее отдельных местностей оповещается в установленном порядке.

С отменой (прекращением действия) военного положения утрачивают юридическую силу нормативные правовые акты, принятые в связи с действием данного режима, органы исполнительной власти и военного управления прекращают осуществлять свои полномочия в области обеспечения режима военного положения.

В период действия военного положения могут в той мере, в какой это необходимо для обеспечения обороны страны и безопасности государства, ограничиваться права и свободы граждан РФ, иностранных граждан, лиц без гражданства, деятельность организаций независимо от организационно-правовых форм и форм собственности, права их должностных лиц. На граждан, организации и их должностных лиц могут возлагаться дополнительные обязанности.

Общая или частичная мобилизация, если она не была объявлена ранее при введении военного положения, объявляется в соответствии с федеральными законами и иными нормативными правовыми актами РФ.

В случае введения военного положения на территории РФ или в отдельных ее местностях Президент РФ во исполнение международных обязательств РФ принимает меры по уведомлению Генерального секретаря Организации Объединенных Наций (а через него государств – участников Организации Объединенных Наций) и информированию Генерального секретаря Совета Европы об отступлении РФ от своих обязательств по международным договорам, связанном с ограничением прав и свобод граждан и, соответственно, о дате, с которой прекращается указанное отступление.

Уровни террористической опасности | Национальный антитеррористический комитет

В соответствии с Федеральным законом от 6 марта 2006 г. № 35-ФЗ «О противодействии терроризму» в целях своевременного информирования населения о возникновении угрозы террористического акта и организации деятельности по противодействию его совершению, осуществляемой Национальным антитеррористическим комитетом во взаимодействии с федеральными органами исполнительной власти, органами государственной власти субъектов Российской Федерации, органами местного самоуправления и  в соответствии с указом Президента Российской Федерации от 14 июня 2012 г.  № 851 могут устанавливаться уровни террористической опасности, предусматривающие принятие дополнительных мер по обеспечению безопасности личности, общества и государства.

На отдельных участках территории Российской Федерации (объектах) могут устанавливаться следующие уровни террористической опасности:

а) повышенный («синий») — при наличии требующей подтверждения информации о реальной возможности совершения террористического акта;

б) высокий («желтый») — при наличии подтвержденной информации о реальной возможности совершения террористического акта;

в) критический («красный») — при наличии информации о совершенном террористическом акте либо о совершении действий, создающих непосредственную угрозу террористического акта.

Решение об установлении, изменении или отмене повышенного («синего») и высокого («желтого») уровней террористической опасности на территории (отдельных участках территории) субъекта Российской Федерации (объектах, находящихся на территории субъекта Российской Федерации) принимает председатель антитеррористической комиссии в соответствующем субъекте Российской Федерации по согласованию с руководителем территориального органа безопасности в соответствующем субъекте Российской Федерации.

Председатель антитеррористической комиссии в субъекте Российской Федерации незамедлительно информирует о принятом решении председателя Национального антитеррористического комитета.

Решение об установлении, изменении или отмене критического («красного») уровня террористической опасности на территории (отдельных участках территории) субъекта Российской Федерации (объектах, находящихся на территории субъекта Российской Федерации) на основании представления председателя антитеррористической комиссии в соответствующем субъекте Российской Федерации принимает председатель Национального антитеррористического комитета. Он же определяет срок, на который в субъекте Российской Федерации устанавливается указанный уровень террористической опасности, границы участка территории (объектов), в пределах которых (на которых) он устанавливается, и перечень дополнительных мер, предусмотренных пунктом 9 настоящего Порядка.

Срок, на который в субъекте Российской Федерации устанавливается повышенный («синий») или высокий («желтый») уровень террористической опасности, границы участка территории (объекты), в пределах которых (на которых) устанавливается уровень террористической опасности, и перечень дополнительных мер, определяются председателем антитеррористической комиссии в субъекте Российской Федерации, если председателем Национального антитеррористического комитета не принято иное решение.

Председатель Национального антитеррористического комитета при наличии информации  может принять решение об установлении, изменении или отмене любого из уровней террористической опасности на территории (отдельных участках территории) одного или нескольких субъектов Российской Федерации (объектах, находящихся на территории одного или нескольких субъектов Российской Федерации) и определить срок, на который устанавливается соответствующий уровень террористической опасности, границы участков территории Российской Федерации (объекты), в пределах которых (на которых) он устанавливается, и перечень дополнительных мер, предусмотренных пунктом 9 настоящего Порядка.

Уровень террористической опасности может устанавливаться на срок не более 15 суток.

Решение об установлении, изменении или отмене уровня террористической опасности, а также информация о сроках, на которые устанавливается уровень террористической опасности, и о границах участка территории Российской Федерации (об объекте), в пределах которого (на котором) он устанавливается, подлежат незамедлительному обнародованию через средства массовой информации.

В соответствии с установленным уровнем террористической опасности могут приниматься следующие дополнительные меры по обеспечению безопасности личности, общества и государства:

а) при повышенном («синем») уровне террористической опасности:

внеплановые мероприятия по проверке информации о возможном совершении террористического акта;

дополнительный инструктаж нарядов полиции и отдельных категорий военнослужащих, а также персонала и подразделений потенциальных объектов террористических посягательств, осуществляющих функции по локализации кризисных ситуаций, с привлечением в зависимости от полученной информации специалистов в соответствующей области;

выставление на улицах, площадях, стадионах, в скверах, парках, на транспортных магистралях, вокзалах, в аэропортах, морских и речных портах, местах проведения публичных и массовых мероприятий, в других общественных местах усиленных патрулей, в том числе с привлечением специалистов кинологической службы;

усиление контроля в ходе проведения досмотровых мероприятий в аэропортах, морских и речных портах, на объектах метрополитена, железнодорожных вокзалах и автовокзалах с использованием специальных технических средств;

проведение проверок и осмотров объектов инфраструктуры, теплопроводов, газопроводов, газораспределительных станций, энергетических систем в целях выявления возможных мест закладки взрывных устройств;

проведение инженерно-технической разведки основных маршрутов передвижения участников публичных и массовых мероприятий, обследование потенциальных объектов террористических посягательств и мест массового пребывания граждан в целях обнаружения и обезвреживания взрывных устройств;

своевременное информирование населения о том, как вести себя в условиях угрозы совершения террористического акта;

б) при высоком («желтом») уровне террористической опасности (наряду с мерами, принимаемыми при установлении повышенного («синего») уровня террористической опасности):

реализация внеплановых мер по организации розыска на воздушном, водном, автомобильном, железнодорожном транспорте, а также на наиболее вероятных объектах террористических посягательств лиц, причастных к подготовке и совершению террористических актов;

усиление контроля за соблюдением гражданами Российской Федерации, в том числе должностными лицами, порядка регистрации и снятия с регистрационного учета граждан Российской Федерации по месту их пребывания и по месту жительства в пределах участка территории Российской Федерации, на котором установлен уровень террористической опасности, а также за соблюдением иностранными гражданами и лицами без гражданства порядка временного или постоянного проживания, временного пребывания в Российской Федерации, въезда в Российскую Федерацию, выезда из Российской Федерации и транзитного проезда через территорию Российской Федерации;

уточнение расчетов имеющихся у федеральных органов исполнительной власти и органов исполнительной власти субъектов Российской Федерации сил и средств, предназначенных для ликвидации последствий террористических актов, а также технических средств и специального оборудования для проведения спасательных работ;

проведение дополнительных тренировок по практическому применению сил и средств, привлекаемых в случае возникновения угрозы террористического акта;

проверка готовности персонала и подразделений потенциальных объектов террористических посягательств, осуществляющих функции по локализации кризисных ситуаций, и отработка их возможных действий по пресечению террористического акта и спасению людей;

определение мест, пригодных для временного размещения людей, удаленных с отдельных участков местности и объектов, в случае введения правового режима контртеррористической операции, а также источников обеспечения их питанием и одеждой;

перевод соответствующих медицинских организаций в режим повышенной готовности;

оценка возможностей медицинских организаций по оказанию медицинской помощи в неотложной или экстренной форме, а также по организации медицинской эвакуации лиц, которым в результате террористического акта может быть причинен физический вред;

в) при установлении критического («красного») уровня террористической опасности (наряду с мерами, применяемыми при введении повышенного («синего») и высокого («желтого») уровней террористической опасности):

приведение в состояние готовности группировки сил и средств, созданной для проведения контртеррористической операции;

перевод соответствующих медицинских организаций в режим чрезвычайной ситуации;

усиление охраны наиболее вероятных объектов террористических посягательств;

создание пунктов временного размещения людей, удаленных с отдельных участков местности и объектов, в случае введения правового режима контртеррористической операции, обеспечение их питанием и одеждой;

принятие неотложных мер по спасению людей, охране имущества, оставшегося без присмотра, содействие бесперебойной работе спасательных служб;

приведение в состояние готовности: транспортных средств — к эвакуации людей, медицинских организаций — к приему лиц, которым в результате террористического акта может быть причинен физический и моральный ущерб, центров экстренной психологической помощи — к работе с пострадавшими и их родственниками;

усиление контроля за передвижением транспортных средств через административные границы субъекта Российской Федерации, на территории которого установлен уровень террористической опасности, проведение досмотра транспортных средств с применением технических средств обнаружения оружия и взрывчатых веществ.

На участках территории Российской Федерации (объектах), в пределах которых (на которых) установлены уровни террористической опасности, могут применяться как все, так и отдельные  вышеперечисленные меры.

]]>

В первом чтении приняты поправки в Налоговый и Бюджетный кодексы, касающиеся «Сириуса»

Госдума приняла в первом чтении два законопроекта — о поправках в Бюджетный кодекс (№1115645-7) и в Налоговый кодекс (№1116411-7) в связи с принятием Закона «О федеральной территории «Сириус».

Первый законопроект предполагает регулирование властных отношений по установлению, введению и взиманию налогов и сборов в федеральной территории «Сириус», отметил замминистра финансов Алексей Сазанов. 

В состав законодательства о налогах и сборах включаются нормативные правовые акты представительного органа федеральной территории «Сириус» о местных налогах и сборах и определяются полномочия этого представительного органа по установлению, введению в действие и прекращению действия местных налогов в федеральной территории.

«Предлагается определить, что региональные налоги, обязательные к уплате федеральной территорией «Сириус«, устанавливаются и вводятся в действие или отменяются Налоговым кодексом РФ, если налоги устанавливаются Налоговым кодексом и нормативными актами представительного органа „Сириуса“ о местных налогах и сборах», — сказал Сазанов.

Также в проекте предусмотрена возможность применения в »Сириусе« патентной системы налогообложения, а с 2022 года — возможность применения специального налогового режима для самозанятых, отметил замминистра.

Председатель Комитета Госдумы по бюджету и налогам Андрей Макаров, в свою очередь, напомнил, что создание такой территории — результат изменений, которые  были внесены в Конституцию и закрепили понятие федеральной территории в Основном законе страны. «Базовый закон о федеральной территории „Сириус“ был принят в декабре. И естественно, необходимо все вопросы, которые возникают в бюджетной и налоговой сфере, также законодательно урегулировать», — добавил политик.

Читайте также:

• Путин назначил Андрея Столярова врио главы федеральной территории «Сириус» • Кабмин проработает экономические основы работы федеральной территории «Сириус»

Вторым законопроектом на федеральные территории распространяются положения Бюджетного кодекса в отношении регионов РФ, городов федерального значения, региональных бюджетов и бюджетов территориальных фондов ОМС. Регламентируется вопрос зачисления в бюджеты федеральных территорий доходов по источникам, формирующим доходы бюджетов регионов — городов федерального значения.

Предусматривается возможность предоставления бюджетам регионов и местным бюджетам межбюджетных трансфертов в форме субвенций из бюджетов федеральных территорий для финансового обеспечения реализации полномочий федеральных территорий, переданных органам госвласти субъектов РФ и органам местного самоуправления.

Президент России Владимир Путин 22 декабря подписал закон о создании первой в России федеральной территории »Сириус» в Краснодарском крае, который устанавливает особенности организации публичной власти на территории с особым статусом и осуществления её экономической и иной деятельности. На территории планируется создать современный инновационный, научный, образовательный и туристический центр.

Также читайте о том, какие законы вступают в силу в январе.

 349-сон 18.10.2016. Об утверждении Основных правил полетов авиации в воздушном пространстве Республики Узбекистан

1. Сигналы, подаваемые перехватывающим воздушным судном, и ответы перехватываемого воздушного судна
Серия	Сигналы перехватывающего воздушного судна	Значение	Ответы перехватываемого воздушного судна	Значение
1.	Днем или Ночью: покачивание воздушного судна и мигание аэронавигационными огнями (и посадочными фарами для вертолетов) через неравные промежутки времени, находясь немного выше, впереди и, как правило, слева от перехватываемого воздушного судна (или справа, если перехватываемым воздушным судном является вертолет), и, после подтверждения принятия сигнала, медленный отворот в горизонтальной плоскости как правило, влево (или вправо, в случае перехвата вертолета) для выхода на нужный курс. Примечание 1. Метеорологические условия или рельеф местности могут потребовать от перехватывающего воздушного судна изменить свое местоположение и направление отворота, указанные выше в серии «1». Примечание 2. Если перехватываемое воздушное судно не успевает следовать за перехватывающим воздушным судном, предполагается, что перехватывающее воздушное судно выполнит ряд маневров по схеме «ипподром» и будет сигнализировать покачиванием воздушного судна каждый раз, когда оно пролетает мимо перехватываемого воздушного судна.	Вы перехвачены. Следуйте за мной.	Днем или Ночью: покачивание воздушного судна, мигание аэронавигационными огнями через неравные промежутки времени и следование за перехватывающим воздушным судном. Дополнительные действия, которые должны быть предприняты перехватываемым воздушным судном, указаны в Главе XI настоящих Основных правил.	Вас понял, выполняю.
2.	Днем или Ночью: резкий отрыв от перехватываемого воздушного судна путем разворота на 90º или больше с набором высоты без пересечения линии пути перехватываемого воздушного судна.	Следуйте своим курсом.	Днем или Ночью: покачивание воздушного судна.	Вас понял, выполняю.
3.	Днем или Ночью: выпуск шасси (если возможно), включение посадочных фар и пролет над ВПП, которую следует использовать, или, если перехватываемым воздушным судном является вертолет, пролет над вертолетной посадочной площадкой. В случае вертолетов перехватывающий вертолет выполняет заход на посадку с переходом в режим висения вблизи посадочной площадки.	Выполняйте посадку на этом аэродроме.	Днем или Ночью: выпуск шасси (если возможно), включение посадочных фар и следование за перехватывающим воздушным судном и, если после пролета ВПП, которую следует использовать, или вертолетной посадочной площадки условия для посадки считаются безопасными, начать выполнение посадки.	Вас понял, выполняю.
2. Сигналы, подаваемые перехватываемым воздушным судном, и ответы перехватывающего воздушного судна
Серия	Сигналы перехватывающего воздушного судна	Значение	Ответы перехватываемого воздушного судна	Значение
4.	Днем или Ночью: уборка шасси (если возможно) и мигание посадочными фарами при пролете над ВПП, которую следует использовать, или вертолетной посадочной площадкой на высоте более 300 м (1000 ft), но не выше 600 м (2000 ft) (для вертолетов на высоте более 50 м (170 ft), но не выше 100 м (330 ft)) над уровнем аэродрома, и продолжение полета по кругу над ВПП, которую следует использовать, или вертолетной посадочной площадкой. В случае невозможности мигания посадочными фарами производится мигание любыми другими бортовыми огнями.	Аэродром, указанный вами, непригоден.	Днем или Ночью: если целесообразно, чтобы перехватываемое воздушное судно следовало за перехватывающим воздушным судном на запасной аэродром, перехватывающее воздушное судно убирает шасси (если возможно) и использует сигналы серии «1» для перехватывающих воздушных судов.	Вас понял, следуйте за мной.
5.	Днем или Ночью: регулярное включение и выключение всех бортовых огней, но с таким расчетом, чтобы отличить их от проблесковых огней.	Не могу выполнить.	Днем или Ночью: используйте сигналы серии «2» для перехватывающих воздушных судов.	Вас понял.
6.	Днем или Ночью: мигание всеми бортовыми огнями через неравные промежутки времени.	В состоянии бедствия.	Днем или Ночью: используйте сигналы серии «2» для перехватывающих воздушных судов.	Вас понял.

Актуальные вопросы в области земельных отношений, связанные с переводом земельных участков из одной категории в другую

1. Возможно ли строительство объектов на сельскохозяйственных угодьях без перевода таких земельных участков в другую категорию земель?

Правовой режим земель определяется исходя из их принадлежности к той или иной категории и разрешенного использования в соответствии с зонированием территорий, общие принципы и порядок проведения которого устанавливаются федеральными законами и требованиями специальных федеральных законов (пункт 2 статьи 7 Земельного кодекса Российской Федерации).

Градостроительный кодекс Российской Федерации определяет градостроительное зонирование как зонирование территорий муниципальных образований в целях определения территориальных зон и установления градостроительных регламентов, которые включаются в правила землепользования и застройки и определяют правовой режим земельных участков, равно как всего, что находится над и под поверхностью земельных участков и используется в процессе их застройки и последующей эксплуатации объектов капитального строительства. В данных регламентах указываются виды разрешенного использования земельных участков и объектов капитального строительства, расположенных в пределах соответствующей территориальной зоны (пункт 6 статьи 1, пункт 3 части 2   и часть 6 статьи 30, часть 1 статьи 36 Градостроительного кодекса Российской Федерации).

В соответствии со статьей 79 Земельного кодекса Российской Федерации сельскохозяйственные угодья — пашни, сенокосы, пастбища, залежи, земли, занятые многолетними насаждениями (садами, виноградниками и другими), — в составе земель сельскохозяйственного назначения имеют приоритет в использовании и подлежат особой охране.

Согласно части 6 статьи 36 Градостроительного кодекса Российской Федерации для земель сельскохозяйственных угодий в составе земель сельскохозяйственного назначения градостроительные регламенты не устанавливаются. В соответствии с частью 7 статьи 36 Градостроительного кодекса Российской Федерации использование земельных участков, для которых градостроительные регламенты не устанавливаются, определяется уполномоченными федеральными органами исполнительной власти, уполномоченными органами исполнительной власти субъектов Российской Федерации или уполномоченными органами местного самоуправления в соответствии с федеральными законами.

В Обзоре судебной практики за четвертый квартал 2013 года, утвержденном Президиумом Верховного Суда РФ 04.06.2014, отражена позиция Верховного Суда Российской Федерации по данному вопросу, состоящая в том, что запрет на установление градостроительного регламента исключает возможность использования указанных земель для застройки        и последующей эксплуатации объектов строительства. Иного федерального закона, регламентирующего использование земельных участков, для которых градостроительные регламенты не устанавливаются и определяется порядок проведения зонирования территорий, не имеется, что означает невозможность изменения вида разрешенного использования земельных участков сельскохозяйственных угодий в составе земель сельскохозяйственного назначения и действие принципа сохранения целевого использования данных земельных участков, закрепленного подпунктом 1 пункта 3 статьи 1 Федерального закона от 24.06.2002 №101-ФЗ «Об обороте земель сельскохозяйственного назначения».

Таким образом, до принятия специального законодательства о зонировании территорий для сельскохозяйственных угодий установлен особый правовой режим, имеющий целью охрану указанных земель и недопущение выведения таких земель из сельскохозяйственного оборота, осуществления их застройки, в том числе в целях использования в сельскохозяйственной деятельности.

С учетом изложенного, изменение вида разрешенного использования для сельскохозяйственных угодий в составе земель сельскохозяйственного назначения возможно только после перевода этих земель или земельных участков в составе таких земель из земель сельскохозяйственного назначения в другую категорию. Данный перевод, в свою очередь, допускается в исключительных случаях, перечисленных в части 1 статьи 7 Федерального закона от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую».

Согласно пункту 2 статьи 78 Земельного кодекса Российской Федерации допускается использование земель сельскохозяйственного назначения или земельных участков в составе таких земель, предоставляемых на период осуществления строительства дорог, линий электропередачи, линий связи (в том числе линейно-кабельных сооружений), нефтепроводов, газопроводов и иных трубопроводов, при наличии утвержденного проекта рекультивации таких земель для нужд сельского хозяйства без перевода земель сельскохозяйственного назначения в земли иных категорий.

2. Может ли осуществляться перевод сельскохозяйственных угодий из состава земель сельскохозяйственного назначения в земли других категорий в связи с неиспользованием земельного участка по целевому назначению его собственником? В каких случаях такой перевод возможен?

В соответствии с подпунктом 1 пункта 3 статьи 1 Федерального закона от 24.07.2002 № 101-ФЗ «Об обороте земель сельскохозяйственного назначения» оборот земель сельскохозяйственного назначения основан на принципе сохранения целевого использования земельных участков. При этом пунктом 1 статьи 79 Земельного кодекса Российской Федерации установлено, что сельскохозяйственные угодья в составе земель сельскохозяйственного назначения имеют приоритет в использовании и подлежат особой охране.

Согласно статье 42 Земельного кодекса Российской Федерации собственники земельных участков и лица, не являющиеся собственниками земельных участков, обязаны использовать земельные участки в соответствии с их целевым назначением способами, которые не должны наносить вред окружающей среде, в том числе земле как природному объекту.

В соответствии с частью 1 статьи 7  Федерального закона от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую» перевод земель сельскохозяйственных угодий или земельных участков в составе таких земель из земель сельскохозяйственного назначения в другую категорию допускается в исключительных случаях, связанных:

— с консервацией земель;

— с созданием особо охраняемых природных территорий или с отнесением земель к землям природоохранного, историко-культурного, рекреационного и иного особо ценного назначения;

— с установлением или изменением черты населенных пунктов;

— с размещением промышленных объектов на землях, кадастровая стоимость которых не превышает средний уровень кадастровой стоимости по муниципальному району (городскому округу), а также на других землях и с иными несельскохозяйственными нуждами при отсутствии иных вариантов размещения этих объектов;

— с включением непригодных для осуществления сельскохозяйственного производства земель в состав земель лесного фонда, земель водного фонда или земель запаса;

— со строительством дорог, линий электропередачи, линий связи (в том числе линейно-кабельных сооружений), нефтепроводов, газопроводов и иных трубопроводов, железнодорожных линий и других подобных сооружений (далее — линейные объекты) при наличии утвержденного в установленном порядке проекта рекультивации части сельскохозяйственных угодий, предоставляемой на период осуществления строительства линейных объектов;

— с выполнением международных обязательств Российской Федерации, обеспечением обороны страны и безопасности государства при отсутствии иных вариантов размещения соответствующих объектов;

— с добычей полезных ископаемых при наличии утвержденного проекта рекультивации земель;

— с размещением объектов социального, коммунально-бытового назначения, объектов здравоохранения, образования при отсутствии иных вариантов размещения этих объектов.

Таким образом, неиспользование земельного участка по целевому назначению не является основанием для его перевода в другую категорию земель.

3. При каких условиях возможен перевод сельскохозяйственных угодий в составе земель сельскохозяйственного назначения в другую категорию земель в целях размещения промышленных объектов, объектов социального, коммунально-бытового назначения?

Перевод сельскохозяйственных угодий в составе земель сельскохозяйственного назначения в другую категорию земель в целях размещения промышленных объектов, объектов социального, коммунально-бытового назначения допускается при одновременном соблюдении следующих условий:

— отсутствие иных вариантов размещения объектов;

— кадастровая стоимость переводимых земель сельскохозяйственных угодий или земельных участков в составе таких земель из земель сельскохозяйственного назначения не должна превышать на пятьдесят и более процентов средний уровень кадастровой стоимости земель по муниципальному району (городскому округу) в случае перевода земельных участков для размещения объектов социального, коммунально-бытового назначения;

— кадастровая стоимость земельных участков не должна превышать средний уровень кадастровой стоимости по муниципальному району (городскому округу) в случае перевода земельных участков для размещения промышленных объектов;

— земельный участок не должен быть включен в перечень особо ценных продуктивных сельскохозяйственных угодий, использование которых для целей, не связанных с ведением сельского хозяйства, не допускается (ведение перечня осуществляется комитетом сельского хозяйства Волгоградской области).

В соответствии со статьей 8.5 Закона Волгоградской области от 17.07.2003 № 855-ОД «Об обороте земель сельскохозяйственного назначения в Волгоградской области» к особо ценным продуктивным сельскохозяйственным угодьям относятся:

— сельскохозяйственные угодья опытно-производственных подразделений научных организаций и учебно-опытных подразделений профессиональных образовательных организаций, реализующих программы подготовки специалистов среднего звена, и образовательных организаций высшего образования;

— сельскохозяйственные угодья государственных сортоиспытательных участков;

— сельскохозяйственные угодья под многолетними насаждениями;

— искусственно орошаемые сельскохозяйственные угодья;

— сельскохозяйственные угодья, расположенные в границах природных парков и иных особо охраняемых природных территорий;

— сельскохозяйственные угодья с кадастровой стоимостью, превышающей средний уровень кадастровой стоимости по муниципальному району (городскому округу) на 50 и более процентов.

При рассмотрении ходатайств о переводе земельных участков из одной категории в другую осуществляется сравнение кадастровой стоимости земельных участков со средним удельным показателем кадастровой стоимости по муниципальному району Волгоградской области, утвержденным распоряжением Мингосимущества Волгоградской области   от 27.11.2013 № 2577-р «Об утверждении результатов государственной кадастровой оценки земель сельскохозяйственного назначения Волгоградской области».

Отсутствие иных вариантов размещения объекта может подтверждаться документами территориального планирования и утвержденной в соответствии с ними документацией по планировке территории (проектами планировки и межевания территории), материалами, связанными с выбором земельных участков для размещения объектов, заключением органа местного самоуправления об отсутствии иных вариантов размещения объекта.

Следует отметить, что пунктом 3 части 3 статьи 2 Федерального закона от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую» обязанность по обоснованию перевода земельного участка из состава земель одной категории в другую возложена на заявителя.

В 2016 году статья 78 Земельного кодекса Российской Федерации была дополнена пунктом 4, согласно которому земельные участки из земель сельскохозяйственного назначения, расположенные на расстоянии не более тридцати километров от границ сельских населенных пунктов, не могут использоваться для целей, не связанных с ведением сельского хозяйства.

В соответствии с разъяснениями Комитета по земельным отношениям и строительству Государственной Думы Федерального Собрания Российской Федерации допускается перевод земельного участка из земель сельскохозяйственного назначения, расположенного на расстоянии не более тридцати километров от границ сельских населенных пунктов, в иные категории земель в случае, если изменение его разрешённого использования  предусмотрено утвержденными документами территориального планирования, при условии соблюдения требований земельного законодательства Российской Федерации.

4. Допускается ли перевод земельных участков из одной категории в другую в границах особо охраняемых природных территорий?

В соответствии со статьей 7 Земельного кодекса Российской Федерации земли по целевому назначению подразделяются на следующие категории:

1) земли сельскохозяйственного назначения;

2) земли населенных пунктов;

3) земли промышленности, энергетики, транспорта, связи, радиовещания, телевидения, информатики, земли для обеспечения космической деятельности, земли обороны, безопасности и земли иного специального назначения;

4) земли особо охраняемых территорий и объектов;

5) земли лесного фонда;

6) земли водного фонда;

7) земли запаса.

В составе земель особо охраняемых территорий и объектов выделяются земли особо охраняемых природных территорий, к которым относятся земли государственных природных заповедников, в том числе биосферных, государственных природных заказников, памятников природы, национальных парков, природных парков, дендрологических парков, ботанических садов (пункт 1 статьи 95 Земельного кодекса Российской Федерации).

Согласно пункту 3 статьи 95 Земельного кодекса Российской Федерации, в пределах земель особо охраняемых природных территорий изменение целевого назначения земельных участков или прекращение прав на землю для нужд, противоречащих их целевому назначению, не допускается.

5. Какие органы наделены полномочиями по переводу земельных участков, государственная собственность на которые не разграничена?

Статьей 15 Федерального закона от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую» установлено, что до разграничения государственной собственности на землю перевод находящихся в государственной собственности земель или земельных участков в составе таких земель из одной категории в другую, необходимых для федеральных нужд, осуществляется Правительством Российской Федерации.

В иных случаях до разграничения государственной собственности на землю перевод находящихся в государственной собственности земель или земельных участков в составе таких земель из одной категории в другую осуществляется органами исполнительной власти субъектов Российской Федерации или в случаях, установленных законами субъектов Российской Федерации, органами местного самоуправления.

В соответствии с Законом Волгоградской области от 28.07.2006           № 1266-ОД «О переводе земель или земельных участков из одной категории в другую на территории Волгоградской области» перевод земель или земельных участков в составе таких земель из одной категории в другую в отношении земель, государственная собственность на которые не разграничена, за исключением земель промышленности, перевод которых согласно положениям статьи 3 данного закона осуществляют уполномоченные органы местного самоуправления, относится к компетенции исполнительного органа государственной власти Волгоградской области (комитета по управлению государственным имуществом Волгоградской области).

По вопросу о переводе из одной категории в другую необходимых для федеральных нужд земельных участков, находящихся в государственной неразграниченной собственности, решение по которым уполномочено принимать Правительство Российской Федерации, необходимо отметить следующее.

Действующее земельное законодательство не раскрывает термины «федеральная нужда», «региональная нужда», «муниципальная нужда» для целей перевода земельных участков из одной категории в другую, что создает трудности при установлении полномочий органов государственной власти, органов местного самоуправления в сфере перевода земельных участков из одной категории в другую.

За разъяснениями по данному вопросу комитет по управлению государственным имуществом Волгоградской области обращался в Министерство экономического развития Российской Федерации (федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в сфере земельных отношений), Министерство сельского хозяйства Российской Федерации (федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в сфере земельных отношений в части, касающейся земель сельскохозяйственного назначения).

Минэкономразвития России в письме от 05.08.2015 № Д23и-3825      (вх. от 24.08.2015 № 04-7м/31691) по данному вопросу сообщает, что под федеральными, региональными и муниципальными нуждами следует понимать соответственно размещение объектов федерального, регионального и местного значения. Значение объектов (федерального, регионального, местного) определяется соответствующими документами территориального планирования.

Минсельхоз России в письме от 21.09.2015 № Г/1225 (вх. от 01.10.2015 № 21/27062) высказал мнение, что к земельным участкам, необходимым    для федеральных нужд, относятся земельные участки, являющиеся в соответствии с пунктом 1 статьи 3.1 Федерального закона от 25.10.2001       № 137-ФЗ «О введении в действие Земельного кодекса Российской Федерации» федеральной собственностью. Согласно указанной правовой норме к федеральной собственности относятся:

земельные участки, занятые зданиями, строениями, сооружениями, находящимися в собственности Российской Федерации;

земельные участки, предоставленные органам государственной власти Российской Федерации, их территориальным органам, а также казенным предприятиям, государственным унитарным предприятиям или некоммерческим организациям, созданным федеральными органами государственной власти;

земельные участки, находящиеся на праве постоянного (бессрочного) пользования, праве аренды, праве безвозмездного пользования у государственных академий наук, у организаций, находившихся в ведении государственных академий наук до дня вступления в силу Федерального закона от 27. 09.2013 № 253-ФЗ «О Российской академии наук, реорганизации государственных академий наук и внесении изменений в отдельные законодательные акты Российской Федерации», а также у государственных учреждений, входящих в структуру Российской академии наук;

земельные участки, предоставленные в аренду Государственной компании «Российские автомобильные дороги» федеральным органом исполнительной власти, осуществляющим функции по оказанию государственных услуг и управлению государственным имуществом в сфере дорожного хозяйства;

иные предусмотренные федеральными законами земельные участки и предусмотренные федеральными законами земли.

Также к земельным участкам, необходимым для федеральных нужд, относятся земельные участки, на которых созданы объекты федерального значения либо планируется строительство и реконструкция таких объектов, размещение (строительство и реконструкция) которых предусмотрено схемой территориального планирования Российской Федерации.

Пунктом 18 статьи 1 Градостроительного кодекса Российской Федерации к объектам федерального значения отнесены объекты капитального строительства, иные объекты, территории, которые необходимы для осуществления полномочий по вопросам, отнесенным к ведению Российской Федерации, органов государственной власти Российской Федерации Конституцией Российской Федерации, федеральными конституционными законами, федеральными законами, решениями Президента Российской Федерации, решениями Правительства Российской Федерации, и оказывают существенное влияние на социально-экономическое развитие Российской Федерации.

Виды объектов федерального значения, подлежащих отображению на схемах территориального планирования Российской Федерации в областях федерального транспорта (железнодорожный, воздушный, морской, внутренний водный, трубопроводный транспорт), автомобильных дорог федерального значения, обороны страны и безопасности государства, энергетики, высшего образования, здравоохранения определяются Правительством Российской Федерации, за исключением объектов федерального значения в области обороны страны и безопасности государства.

В частности, распоряжением Правительства Российской Федерации     от 09.02.2012 № 162-р утвержден перечень видов объектов федерального значения, подлежащих отображению на схемах территориального планирования Российской Федерации в области федерального транспорта, в который, кроме прочего, включены объекты трубопроводного транспорта:

— магистральные трубопроводы для транспортировки жидких и газообразных углеводородов;

— сети газораспределения, предназначенные для транспортировки природного газа под давлением свыше 1,2 мегапаскаля и сжиженного углеводородного газа под давлением свыше 1,6 мегапаскаля.

При этом необходимо учитывать, что в соответствии с Правилами охраны магистральных трубопроводов, утвержденными Министерством топлива и энергетики России 29.04.1992, Постановлением Госгортехнадзора России от 22.04.1992 № 9, в состав магистральных трубопроводов входят:

трубопровод (от места выхода подготовленной к транспорту товарной продукции до мест переработки и отгрузки нефти, потребления нефтепродуктов или перевалки их на другой вид транспорта и реализации газа, в том числе сжиженного, потребителям) с ответвлениями и лупингами, запорной арматурой, переходами через естественные и искусственные препятствия, узлами подключения насосных и компрессорных станций, узлами пуска и приема очистных и диагностических устройств, узлами измерения количества продукции, конденсатосборниками, устройствами для ввода ингибиторов гидратообразования, узлами спуска продукции или продувки газопровода;

— установки электрохимической защиты трубопроводов от коррозии, линии и сооружения технологической связи, средства телемеханики трубопроводов;

— линии электропередачи, предназначенные для обслуживания трубопроводов, устройства электроснабжения и дистанционного управления запорной арматурой и установками электрохимической защиты трубопроводов;

— противопожарные средства, противоэрозионные и защитные сооружения трубопроводов;

— емкости для хранения и разгазирования конденсата, земляные амбары для аварийного выпуска продукции;

— сооружения линейной службы эксплуатации трубопроводов;

— вдольтрассовые проезды и переезды через трубопроводы, постоянные дороги, вертолетные площадки, расположенные вдоль трассы трубопровода, и подъезды к ним, опознавательные и сигнальные знаки местонахождения трубопроводов, сигнальные знаки при пересечении трубопроводами внутренних судоходных путей;

— головные и промежуточные перекачивающие, наливные насосные и напоропонижающие станции, резервуарные парки, очистные сооружения;

— компрессорные и газораспределительные станции;

— станции подземного хранения газа, нефти и нефтепродуктов;

— автомобильные газонаполнительные станции;

— наливные и сливные эстакады и причалы;

— пункты подогрева нефти и нефтепродуктов.

Согласно Правилам охраны газораспределительных сетей, утвержденным постановлением Правительства Российской Федерации         от 20.11.2000 № 878, в состав газораспределительных сетей входят:

— наружные подземные, наземные и надземные распределительные газопроводы, межпоселковые газопроводы, газопроводы-вводы с установленной на них запорной арматурой;

— внеплощадочные газопроводы промышленных предприятий;

— переходы газопроводов через естественные и искусственные препятствия, в том числе через реки, железные и автомобильные дороги;

— отдельно стоящие газорегуляторные пункты, расположенные на территории и за территорией населенных пунктов, промышленных и иных предприятий, а также газорегуляторные пункты, размещенные в зданиях, шкафах или блоках;

— устройства электрохимической защиты стальных газопроводов от коррозии и средства телемеханизации газораспределительных сетей, объекты их электропривода и энергоснабжения.

Таким образом, принятие решений о переводе земельных участков из одной категории земель в другую в целях размещения вышеперечисленных элементов объектов трубопроводного транспорта, имеющих федеральное значение, относится к компетенции Правительства Российской Федерации.

6. Федеральным законом от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую» предусмотрено согласие правообладателя земельного участка на перевод земельного участка из состава земель одной категории в другую. Какие органы и организации могут осуществлять согласование перевода земельных участков из одной категории в другую?

В соответствии с пунктом 5 части 4 статьи 2 Федерального закона       от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую» для принятия решения о переводе земельных участков из состава земель одной категории в другую необходимо согласие правообладателя земельного участка на перевод земельного участка из состава земель одной категории в другую, за исключением случая, если правообладателем земельного участка является лицо, с которым заключено соглашение об установлении сервитута в отношении такого земельного участка.

В случае если заинтересованное в переводе земельного участка из одной категории в другую лицо не является правообладателем земельного участка, то в составе ходатайства предусматривается наличие согласия собственника и иных правообладателей земельного участка на перевод этого земельного участка.

Статьей 5 Земельного кодекса Российской Федерации установлено, что правообладатели земельных участков – это собственники земельных участков, землепользователи, землевладельцы и арендаторы земельных участков.

Согласно статьям 9, 10, 11 Земельного кодекса Российской Федерации Российская Федерация осуществляет управление и распоряжение земельными участками, находящимися в собственности Российской Федерации (федеральной собственностью), субъекты Российской Федерации осуществляют управление и распоряжение земельными участками, находящимися в собственности субъектов Российской Федерации, органами местного самоуправления осуществляются управление и распоряжение земельными участками, находящимися в муниципальной собственности.

Статьей 3.3 Федерального закона от 25.10.2001 № 137-ФЗ «О введении в действие Земельного кодекса Российской Федерации» определено, что распоряжение земельными участками, государственная собственность на которые не разграничена, осуществляется:

— органом местного самоуправления городского округа в отношении земельных участков, расположенных на территории городского округа;

— органом местного самоуправления городского поселения в отношении земельных участков, расположенных на территории такого поселения;

— органом местного самоуправления муниципального района в отношении земельных участков, расположенных на территории сельского поселения, входящего в состав этого муниципального района, и земельных участков, расположенных на межселенных территориях муниципального района;

— федеральным органом исполнительной власти, осуществляющим функции по оказанию государственных услуг и управлению государственным имуществом в сфере дорожного хозяйства, в случае предоставления земельных участков для размещения автомобильных дорог федерального значения;

— федеральным органом исполнительной власти, осуществляющим функции по управлению федеральным имуществом, в случае, принятия межведомственным коллегиальным органом, решения о целесообразности осуществления федеральным органом исполнительной власти, осуществляющим функции по управлению федеральным имуществом, полномочий по распоряжению таким земельным участком в целях, способами и в порядке, которые предусмотрены Федеральным законом от 24. 07.2008 № 161-ФЗ «О содействии развитию жилищного строительства»;

— органом исполнительной власти субъекта Российской Федерации в случае предоставления земельных участков для размещения автомобильных дорог регионального или межмуниципального значения.

7. Какие установлены сроки рассмотрения ходатайств о переводе земельных участков из одной категории в другую и принятия решений о переводе либо от отказе в переводе земельных участков из одной категории в другую?

В соответствии со статьей 3 Федерального закона от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую» в рассмотрении ходатайства может быть отказано в случае, если с ходатайством обратилось ненадлежащее лицо, либо к ходатайству приложены документы, состав, форма или содержание которых не соответствуют требованиям земельного законодательства.

Ходатайство, не подлежащее рассмотрению по вышеуказанным основаниям, подлежит возврату заинтересованному лицу в течение тридцати дней со дня его поступления с указанием причин, послуживших основанием для отказа в принятии ходатайства для рассмотрения.

По результатам рассмотрения ходатайства комитетом по управлению государственным имуществом по Волгоградской области в течение двух месяцев со дня поступления ходатайства принимается акт о переводе земель или земельных участков в составе таких земель из одной категории в другую  либо акт об отказе в переводе земель или земельных участков в составе таких земель из одной категории в другую.

8. В каких случаях может быть изменена категория земельного участка без процедуры его перевода из одной категории в другую?

Правовое регулирование отношений, возникающих в связи с переводом земель или земельных участков в составе таких земель из одной категории в другую, осуществляется Земельным кодексом Российской Федерации, Федеральным законом от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую», иными федеральными законами и принимаемыми в соответствии с ними иными нормативными правовыми актами Российской Федерации, законами и иными нормативными правовыми актами субъектов Российской Федерации (статья 1 Федерального закона от 21. 12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую»).

Федеральным законодательством предусмотрен ряд случаев, при которых допускается изменение категории земель земельного участка без принятия решения о переводе земельного участка из одной категории земель в другую.

Так, частью 14 статьи 26 Федерального закона от 31.12.2014 № 499-ФЗ     «О внесении изменений в Земельный кодекс Российской Федерации и отдельные законодательные акты Российской Федерации» установлено, что по заявлению исполнительного органа государственной власти или органа местного самоуправления, принявших решение об изъятии земельного участка для государственных или муниципальных нужд, либо организации, подавшей ходатайство об изъятии, на основании которого было принято такое решение, в государственный кадастр недвижимости в отношении земельных участков, предназначенных в соответствии с утвержденными документами территориального планирования и утвержденным проектом планировки территории для размещения линейных объектов федерального значения, регионального значения или местного значения, независимо от принадлежности таких земельных участков к определенной категории земель вносятся сведения о принадлежности таких земельных участков к категории земель промышленности, энергетики, транспорта, связи, радиовещания, телевидения, информатики, земель для обеспечения космической деятельности, земель обороны, безопасности или земель иного специального назначения, за исключением случаев, если такие земельные участки отнесены к категории земель населенных пунктов. При этом принятие решения о переводе земельного участка из одной категории земель в другую или об отнесении земельного участка к определенной категории земель не требуется.

Следует отметить, что в данном случае речь идет о земельных участках, предназначенных для размещения непосредственно самих линейных объектов, т.е. земельных участках попадающих (в соответствии с утвержденным проектом планировки территории) в постоянный отвод земель, формируемый для размещения указанных объектов. На земельные участки, попадающие во временный отвод и используемые на период строительства, действие указанной правовой нормы не распространяется.

В указанной связи необходимо учитывать, что в соответствии с пунктом 2 статьи 78 Земельного кодекса Российской Федерации использование земель сельскохозяйственного назначения или земельных участков в составе таких земель, предоставляемых на период осуществления строительства дорог, линий электропередачи, линий связи (в том числе линейно-кабельных сооружений), нефтепроводов, газопроводов и иных трубопроводов, осуществляется при наличии утвержденного проекта рекультивации таких земель для нужд сельского хозяйства без перевода земель сельскохозяйственного назначения в земли иных категорий.

Возможность изменения категории земельных участков, минуя процедуру принятия решения о переводе земельных участков из одной категории земель в другую в порядке, установленном Федеральным законом от 21.12.2004 № 172-ФЗ «О переводе земель или земельных участков из одной категории в другую», также предусматривается специальными федеральными законами, в частности, Федеральным законом от 07.06.2013  № 108-ФЗ «О подготовке и проведении в Российской Федерации чемпионата мира по футболу FIFA 2018 года, Кубка конфедераций FIFA 2017 года и внесении изменений в отдельные законодательные акты Российской Федерации», Федеральным законом от 01.05.2016 № 119-ФЗ   «Об особенностях предоставления гражданам земельных участков, находящихся в государственной или муниципальной собственности и расположенных на территориях субъектов Российской Федерации, входящих в состав Дальневосточного федерального округа, и о внесении изменений в отдельные законодательные акты Российской Федерации».

Используйте локальный режим Amazon SageMaker для обучения на своем экземпляре ноутбука

Май 2021 г. — в этот пост добавлен новый образец ноутбука и ресурсы для выполнения обработки, обучения и вывода в локальном режиме Amazon SageMaker.

Amazon SageMaker — это гибкая платформа машинного обучения, которая позволяет более эффективно создавать, обучать и развертывать модели машинного обучения в рабочей среде. Amazon SageMaker Python SDK поддерживает локальный режим, который позволяет создавать оценщики и развертывать их в локальной среде.Это отличный способ протестировать сценарии глубокого обучения перед их запуском в управляемых средах обучения или хостинга SageMaker. Локальный режим поддерживается для образов платформ (TensorFlow, MXNet, Chainer, PyTorch и Scikit-Learn) и образов, которые вы предоставляете сами.

Учебная среда Amazon SageMaker находится под управлением. Это означает, что он запускает инстансы, загружает контейнеры алгоритмов, получает данные из Amazon S3, запускает код, выводит результаты в Amazon S3 и разрушает кластер без необходимости думать об этом. Возможность перенести обучение на отдельный многоузловой кластер GPU является огромным преимуществом. Несмотря на то, что запуск нового оборудования каждый раз полезен для повторяемости и безопасности, он может добавить трения при тестировании или отладке кода вашего алгоритма.

Контейнеры глубокого обучения Amazon SageMaker позволяют писать сценарии TensorFlow, PyTorch или MXNet, как обычно. Однако теперь вы развертываете их в готовых контейнерах в управляемой рабочей среде как для обучения, так и для размещения.Ранее эти контейнеры были доступны только в средах Amazon SageMaker. Недавно они стали открытым исходным кодом, что означает, что вы можете использовать контейнеры в своей рабочей среде и использовать пользовательский код, встроенный в Amazon SageMaker Python SDK, для локального тестирования алгоритма, просто изменив одну строку кода. Это означает, что вы можете повторять и тестировать свою работу, не дожидаясь каждый раз создания нового обучающего или хостингового кластера. Итерация с небольшой выборкой набора данных локально, а затем масштабирование для обучения на полном наборе данных распределенным образом является обычным явлением в машинном обучении.Как правило, это означает переписывание всего процесса и надежду на то, что он не внесет никаких ошибок. Локальный режим Amazon SageMaker позволяет легко переключаться между локальным и распределенным управляемым обучением, просто изменив одну строку кода. Все остальное работает так же.

Локальный режим в Amazon SageMaker Python SDK может эмулировать обучающие задания SageMaker на ЦП (один и несколько экземпляров) и ГП (один экземпляр) путем изменения одного аргумента в оценщиках TensorFlow, PyTorch или MXNet.Для этого он использует Docker compose и NVIDIA Docker. Он также будет извлекать контейнеры Amazon SageMaker TensorFlow, PyTorch или MXNet из Amazon ECS, поэтому вам потребуется доступ к общедоступному репозиторию Amazon ECR из вашей локальной среды. Если вы решите использовать экземпляр ноутбука SageMaker в качестве локальной среды, этот сценарий установит необходимые компоненты. В противном случае вы можете установить их самостоятельно и убедиться, что вы обновили SageMaker Python SDK до последней версии с помощью pip install -U sagemaker .

Пример варианта использования

У нас есть пример записной книжки, показывающий, как использовать локальный режим с PyTorch в репозитории GitHub.

Мы создадим модель сверточной нейронной сети для обучения набору данных CIFAR-10 и сделаем это полностью на экземпляре блокнота ml.c5.xlarge. Тот же код, который мы создаем здесь, может быть легко перенесен в управляемую среду обучения Amazon SageMaker, если мы хотим, чтобы она работала на нескольких компьютерах, или если мы хотим проводить обучение на регулярной основе без управления каким-либо оборудованием.

Начнем с создания нового экземпляра записной книжки. Войдите в Консоль управления AWS, выберите сервис Amazon SageMaker и выберите Создать экземпляр ноутбука на панели управления консоли Amazon SageMaker, чтобы открыть следующую страницу.

После запуска экземпляра блокнота вы можете создать новый блокнот Jupyter и начать настройку. Или вы можете следовать вместе с предопределенной записной книжкой здесь. Мы пропустим часть фона, чтобы сосредоточиться на локальном режиме.Если вы новичок в глубоком обучении, этот пост в блоге может быть полезен для начала работы. Или посмотрите другой пример блокнота SageMaker, который соответствует набору данных MNIST, но тренируется в управляемой среде обучения Amazon SageMaker.

После установки необходимых компонентов, загрузки библиотек и загрузки набора данных вы загрузите набор данных в корзину Amazon S3. Обратите внимание: несмотря на то, что мы проводим обучение локально, мы по-прежнему будем получать доступ к данным из Amazon S3, чтобы обеспечить согласованность с обучением SageMaker.

  входы = sagemaker_session.upload_data(путь='данные', ведро=ведро, key_prefix='данные/cifar10')  

Теперь мы определим наш оценщик PyTorch. Оценщик указывает на скрипт cifar10.py в исходном каталоге, который содержит спецификацию нашей сети и функцию train() . Он также предоставляет информацию о задании, такую ​​как гиперпараметры и роль IAM. Но самое главное, он устанавливает instance_type в 'local' .Это единственное изменение, необходимое для перехода от среды обучения, управляемой SageMaker, к обучению полностью в локальном экземпляре записной книжки.

  cifar10_estimator = PyTorch (py_version = 'py3',
                            entry_point='источник/cifar10.py',
                            роль = роль,
                            framework_version='1.7.1',
                            количество_экземпляров = 1,
                            instance_type='локальный')

cifar10_оценщик.подходят(входы)  

При первом запуске оценщику необходимо загрузить образ контейнера из своего репозитория Amazon ECR, но затем можно сразу же начать обучение. Нет необходимости ждать подготовки отдельного учебного кластера. Кроме того, при последующих запусках, которые могут потребоваться при итерации и тестировании, изменения в сценарии TensorFlow, PyTorch или MXNet начнут выполняться мгновенно.

После завершения обучения нашего оценщика мы можем создать и протестировать нашу конечную точку локально.Опять же, мы укажем 'local' для instance_type .

  cifar10_predictor = cifar10_estimator.deploy (initial_instance_count = 1,
                                             instance_type='локальный')
  

Теперь мы можем сгенерировать несколько прогнозов, чтобы подтвердить, что наш код логического вывода работает. Рекомендуется сделать это перед развертыванием в производственной конечной точке, но вы также можете сгенерировать несколько прогнозов для одноразовой оценки точности модели.

  # получить несколько тестовых изображений
dataiter = iter (тестовый загрузчик)
изображения, метки = dataiter. next()

# печать изображений
imshow (torchvision.utils.make_grid (изображения))
print('GroundTruth: ', ' '.join('%4s' % class[labels[j]] для j в диапазоне (4)))

выходы = cifar10_predictor.predict(images.numpy())

_, предсказано = torch.max (torch.from_numpy (np.array (выходы)), 1)

print('Прогноз: ', ' '.join('%4s' % классов[прогноз [j]]
                              для j в диапазоне (4)))  

Наш результат должен выглядеть примерно так:

Прогноз:   кошка  автомобиль корабль самолет

Теперь, когда мы проверили наш сценарий обучения и логического вывода, мы можем развернуть его в управляемых средах SageMaker для крупномасштабного или периодического обучения, а также для создания прогнозов из размещенной конечной точки в реальном времени.

Но сначала давайте очистим локальную конечную точку, так как одновременно локально может работать только одна конечная точка.

  cifar10_estimator. delete_endpoint()  

Вы можете завершить работу своего экземпляра ноутбука из консоли Amazon SageMaker, перейдя на страницу Блокнот и выбрав Действия и Остановить . Это позволит избежать каких-либо затрат на вычисления, пока вы не решите запустить его резервную копию. Или вы можете удалить свой блокнот, выбрав Действия и Удалить .

Заключение

В этом сообщении блога показано, как использовать локальный режим Amazon SageMaker Python SDK на экземпляре ноутбука с ЦП для быстрого тестирования модели классификации изображений на демонстрационных данных. Вы можете использовать обучение в локальном режиме, чтобы ускорить цикл тестирования и отладки уже сегодня. Просто убедитесь, что у вас установлена ​​последняя версия SageMaker Python SDK, установите несколько других инструментов и измените одну строку кода!

Вы можете увидеть полные примеры того, как обрабатывать, обучать и отлаживать сценарий обучения с помощью точек останова, а также обслуживать на своем локальном компьютере с помощью локального режима Amazon SageMaker для обработки заданий, обучения и обслуживания в репозитории GitHub.

---

Об авторе

Дэвид Арпин — руководитель AWS по выбору платформ искусственного интеллекта, имеющий опыт управления группами по науке о данных и управлению продуктами.

 

 

 

Эйтан Села  – архитектор решений в Amazon Web Services. Он работает с клиентами AWS, предоставляя рекомендации и техническую помощь, помогая им повысить ценность своих решений при использовании AWS.Эйтан также помогает клиентам создавать и использовать решения для машинного обучения на AWS. В свободное время Эйтан любит бегать и читать последние статьи по машинному обучению.

Использование SageMaker Python SDK — документация по sagemaker 2.74.0

SageMaker Python SDK предоставляет несколько высокоуровневых абстракций для работы с Amazon SageMaker. Это:

• Оценщики : Инкапсуляция обучения на SageMaker.

• Модели : Инкапсуляция встроенных моделей машинного обучения.

• Predictors : Вывод и преобразование в реальном времени с использованием типов данных Python для конечной точки SageMaker.

• Session : Предоставляет набор методов для работы с ресурсами SageMaker.

• Преобразователи : Инкапсуляция заданий пакетного преобразования для логического вывода в SageMaker

• Процессоры : инкапсулировать запущенные задания по обработке данных в SageMaker

Включены реализации

Estimator и Model для MXNet, TensorFlow, Chainer, PyTorch, scikit-learn, встроенных алгоритмов Amazon SageMaker, Reinforcement Learning.Существует также Estimator , который запускает пользовательские контейнеры Docker, совместимые с SageMaker, что позволяет запускать собственные алгоритмы машинного обучения с помощью SageMaker Python SDK.

Для обучения модели с помощью SageMaker Python SDK необходимо:

1. Подготовить сценарий обучения

2. Создать оценщик

3. Вызов метода подгонки оценщика

После обучения модели ее можно сохранить, а затем использовать модель в качестве конечной точки для получения выводов в реальном времени или получения выводов для всего набора данных с помощью пакетного преобразования.

Подготовка сценария обучения

Ваш сценарий обучения должен быть исходным файлом, совместимым с Python 2.7 или 3.6.

Сценарий обучения очень похож на сценарий обучения, который вы можете запустить вне SageMaker, но вы можете получить доступ к полезным свойствам среды обучения через различные переменные среды, включая следующие:

• SM_MODEL_DIR : строка, представляющая путь, по которому задание обучения записывает артефакты модели.После обучения артефакты в этом каталоге загружаются в S3 для размещения модели.

• SM_NUM_GPUS : Целое число, представляющее количество графических процессоров, доступных хосту.

• SM_CHANNEL_XXXX : Строка, представляющая путь к каталогу, содержащему входные данные для указанного канала. Например, если вы укажете два входных канала в вызове fit оценщика MXNet с именами «поезд» и «тест», будут установлены переменные среды SM_CHANNEL_TRAIN и SM_CHANNEL_TEST .

• SM_HPS : json-дамп гиперпараметров с сохранением типов json (логический, целочисленный и т. д.)

Полный список доступных переменных среды см. в документации по контейнерам SageMaker.

Типичный сценарий обучения загружает данные из входных каналов, настраивает обучение с помощью гиперпараметров, обучает модель и сохраняет модель в model_dir , чтобы ее можно было развернуть для вывода позже. Гиперпараметры передаются вашему сценарию в качестве аргументов и могут быть получены с помощью argparse.Экземпляр ArgumentParser . Например, сценарий обучения может начинаться со следующего кода:

.

 импортировать синтаксический анализ
импорт ОС
импортировать json

если __name__ == '__main__':

    синтаксический анализатор = argparse.ArgumentParser()

    # Гиперпараметры, отправленные клиентом, передаются скрипту в качестве аргументов командной строки.
    parser.add_argument('--epochs', type=int, default=10)
    parser. add_argument('--batch-size', тип=int, по умолчанию=100)
    parser.add_argument('--learning-rate', type=float, default=0.1)

    # альтернативный способ загрузки гиперпараметров через переменную окружения SM_HPS.parser.add_argument('--sm-hps', type=json.loads, default=os.environ['SM_HPS'])

    # входные данные и каталоги модели
    parser.add_argument('--model-dir', type=str, default=os.environ['SM_MODEL_DIR'])
    parser.add_argument('--train', type=str, default=os.environ['SM_CHANNEL_TRAIN'])
    parser.add_argument('--test', type=str, default=os.environ['SM_CHANNEL_TEST'])

    аргументы, _ = parser.parse_known_args()

    # ... загрузить из args.train и args.test, обучить модель, записать модель в args.model_dir.

Поскольку SageMaker импортирует ваш обучающий скрипт, вы должны поместить свой обучающий код в основную защиту ( if __name__=='__main__': ), если вы используете тот же скрипт для размещения своей модели, чтобы SageMaker непреднамеренно не запускал обучающий код в неправильном месте выполнения.

Обратите внимание, что SageMaker не поддерживает действия argparse. Если вы хотите использовать, например, логические гиперпараметры, вам нужно указать type как bool в своем скрипте и указать явное значение True или False для этого гиперпараметра при создании оценщика.

Дополнительные сведения о переменных среды обучения см. на странице SageMaker Containers.

Использование оценщиков

Вот полный пример использования SageMaker Estimator:

 из sagemaker.mxnet импортировать MXNet

# Настройте MXNet Estimator (обучения пока не происходит)
mxnet_estimator = MXNet('train.py',
                        роль = 'SageMakerRole',
                        instance_type='ml.p2.xlarge',
                        количество_экземпляров = 1,
                        framework_version='1.2,1')

# Запускает обучающее задание SageMaker и ожидает его завершения.
mxnet_estimator.fit('s3://my_bucket/my_training_data/')

# Развертывает модель, созданную функцией fit(), в конечную точку SageMaker. 
mxnet_predictor = mxnet_estimator.deploy (initial_instance_count = 1, instance_type = 'ml.p2.xlarge')

# Сериализирует данные и отправляет запрос прогноза конечной точке SageMaker
ответ = mxnet_predictor.predict(данные)

# Разрывает конечную точку SageMaker и конфигурацию конечной точки
mxnet_predictor.delete_endpoint()

# Удаляет модель SageMaker
mxnet_predictor.удалить_модель()
 

Приведенный выше пример в конечном итоге удалит и конечную точку SageMaker, и конфигурацию конечной точки с помощью delete_endpoint() . Если вы хотите сохранить конфигурацию конечной точки SageMaker, используйте значение False для параметра delete_endpoint_config , как показано ниже.

 # Удалите только конечную точку SageMaker, сохранив соответствующую конфигурацию конечной точки.
mxnet_predictor.delete_endpoint(delete_endpoint_config=False)
 

Кроме того, можно развернуть другую конфигурацию конечной точки, связанную с вашей моделью, на уже существующую конечную точку SageMaker. Это можно сделать, указав существующее имя конечной точки для параметра endpoint_name вместе с параметром update_endpoint как True в вызове deploy() . Чтобы получить больше информации.

 из sagemaker.mxnet импортировать MXNet

# Настройте MXNet Estimator (обучения пока не происходит)
mxnet_estimator = MXNet('train.py',
                        роль = 'SageMakerRole',
                        instance_type='ml.p2.xlarge',
                        количество_экземпляров = 1,
                        framework_version='1.2,1')

# Запускает обучающее задание SageMaker и ожидает его завершения.
mxnet_estimator.fit('s3://my_bucket/my_training_data/')

# Развертывает модель, созданную функцией fit(), в существующую конечную точку SageMaker.
mxnet_predictor = mxnet_estimator.deploy (initial_instance_count = 1,
                                         instance_type='ml.p2.xlarge',
                                         update_endpoint = Верно,
                                         endpoint_name='существующая конечная точка')

# Сериализирует данные и отправляет запрос прогноза конечной точке SageMaker
ответ = mxnet_predictor. предсказать (данные)

# Разрывает конечную точку SageMaker и конфигурацию конечной точки
mxnet_predictor.delete_endpoint()

# Удаляет модель SageMaker
mxnet_predictor.delete_model()
 

Использование SageMaker AlgorithmEstimators

С помощью сущностей SageMaker Algorithm вы можете создавать обучающие задания, используя всего лишь алгоритм_arn вместо тренировочный образ. Существует специальный класс AlgorithmEstimator , который принимает алгоритм_arn в качестве параметр, остальные аргументы аналогичны другим классам Estimator.Этот класс также позволяет вам использовать алгоритмы, на которые вы подписаны в AWS Marketplace. AlgorithmEstimator выполняет проверка ваших входных данных на стороне клиента на основе свойств алгоритма.

Вот пример:

 импортный производитель шалфея

алгоритм = sagemaker.AlgorithmEstimator(
    algorithm_arn='arn:aws:sagemaker:us-west-2:1234567:algorithm/some-algorithm',
    роль = 'SageMakerRole',
    количество_экземпляров = 1,
    instance_type='ml. c4.xlarge')

train_input = algo.sagemaker_session.upload_data(путь='/путь/к/вашим/данным')

algo.fit({'обучение': train_input})
предиктор = algo.deploy(1, 'ml.m4.xlarge')

# Когда вы закончите использовать свою конечную точку
предиктор.delete_endpoint()
 

Использовать сценарии, хранящиеся в репозитории Git

При создании оценщика можно указать сценарий обучения, который хранится в репозитории GitHub (или другом Git) или CodeCommit, в качестве точки входа для оценщика, чтобы вам не приходилось загружать сценарии локально. Если вы это сделаете, исходный каталог и зависимости должны находиться в одном репо, если они необходимы.Поддержку Git можно включить, просто указав параметр git_config . при создании объекта Estimator . Если поддержка Git включена, то entry_point , source_dir и зависимости должны быть относительными путями в репозитории Git, если они предоставлены.

Параметр git_config включает поля repo , branch , commit , 2FA_enabled , имя пользователя , пароль и токен . Поле repo обязательно. Все остальные поля являются необязательными. репозиторий указывает Git репозиторий, в котором хранится ваш сценарий обучения. Если вы не предоставляете ветку , используется значение по умолчанию «мастер». Если вы не укажете commit , будет использована последняя фиксация в указанной ветке.

2FA_enabled , имя пользователя , пароль и токен используются для аутентификации. Для GitHub (или другие учетные записи Git), установите для 2FA_enabled значение «True», если двухфакторная аутентификация включена для аккаунт, в противном случае установите для него значение «False».Если вы не укажете значение для 2FA_enabled , значение по умолчанию используется значение «False». CodeCommit не поддерживает двухфакторную аутентификацию, поэтому не указывайте «2FA_enabled» с репозиториями CodeCommit.

Для GitHub или других репозиториев Git: Если репозиторий является URL-адресом SSH, у вас не должно быть парольной фразы для пар ключей SSH или настроен ssh-agent . так что вам не будет предложено ввести парольную фразу SSH при запуске команды git clone с URL-адресами SSH.Для URL-адресов SSH это не имеет значения, включена ли двухфакторная аутентификация. Если репо является URL-адресом HTTPS, 2FA имеет значение. Когда двухфакторная аутентификация отключена, будет использоваться либо токен , либо имя пользователя ``+пароль . используется для аутентификации, если она предоставлена ​​(токен с приоритетом ). Когда 2FA включена, для аутентификация, если она предусмотрена. Если необходимая информация для аутентификации не предоставлена, python SDK попытается использовать локальный хранилище учетных данных для аутентификации. Если и это не удается, будет выдано сообщение об ошибке.

Для репозиториев CodeCommit убедитесь, что вы завершили настройку аутентификации: https://docs.aws.amazon.com/codecommit/latest/userguide/setting-up.html. 2FA не поддерживается CodeCommit, поэтому 2FA_enabled указывать не нужно. В CodeCommit нет токена, поэтому Токен также не должен предоставляться. Если репозиторий является URL-адресом SSH, требования такие же, как и для репозиториев GitHub. Если репозиторий является URL-адресом HTTPS, имя пользователя``+``пароль будут использоваться для аутентификации, если они предоставлены; в противном случае, Python SDK попытается использовать для проверки подлинности либо помощник по учетным данным CodeCommit, либо локальное хранилище учетных данных.

Вот несколько примеров создания оценщиков с поддержкой Git:

 # Указывает параметр git_config. Этот пример не предоставляет учетные данные Git, поэтому python SDK попытается
# для использования локального хранилища учетных данных.
git_config = {'repo': 'https://github.com/username/repo-with-training-scripts.git',
              «ветвь»: «ветвь2»,
              «фиксация»: «4893e528afa4a7e1b5286954f073b0f14a2»}

# В этом примере исходный каталог 'pytorch' содержит точку входа 'mnist. py' и другой исходный код.
# и это относительный путь внутри репозитория Git.
pytorch_estimator = PyTorch (entry_point = 'mnist.py',
                            роль = 'SageMakerRole',
                            source_dir = 'pytorch',
                            git_config=git_config,
                            количество_экземпляров = 1,
                            instance_type='ml.c4.xlarge')
 

 # Вы также можете указать git_config, указав только «репозиторий» и «ветвь».
# В этом случае будет использоваться последний коммит в этой ветке.git_config = {'repo': '[email protected]:username/repo-with-training-scripts.git',
              "филиал": "филиал2"}

# В этом примере точка входа 'mnist.py' — это все, что нам нужно для исходного кода.
# Нам нужно указать путь к нему в репозитории Git.
mx_estimator = MXNet(entry_point='mxnet/mnist.py',
                     роль = 'SageMakerRole',
                     git_config=git_config,
                     количество_экземпляров = 1,
                     instance_type='ml. c4.xlarge')
 

 # Также разрешено только предоставление «репо».В этом случае будет использована последняя фиксация в ветке master.
# В этом примере нет '2FA_enabled', поэтому по умолчанию 2FA считается отключенным. «имя пользователя» и
# 'пароль' предоставляется для аутентификации
git_config = {'repo': 'https://github.com/username/repo-with-training-scripts.git',
              'имя пользователя': 'имя пользователя',
              'пароль': 'passw0rd!'}

# В этом примере, помимо точки входа и другого исходного кода в исходном каталоге, нам еще нужны некоторые
# зависимости для обучающего задания.Зависимости также должны быть путями внутри репозитория Git.
pytorch_estimator = PyTorch (entry_point = 'mnist.py',
                            роль = 'SageMakerRole',
                            source_dir = 'pytorch',
                            зависимости=['dep.py', 'foo/bar.py'],
                            git_config=git_config,
                            количество_экземпляров = 1,
                            instance_type='ml. c4.xlarge')
 

 # В этом примере указано, что двухфакторная аутентификация включена, а для аутентификации предоставляется токен.
git_config = {'repo': 'https://github.com/имя_пользователя/repo-with-training-scripts.git',
              '2FA_enabled': Верно,
              'токен': 'ваш токен'}

# В этом примере, помимо точки входа, нам также нужны некоторые зависимости для задания обучения.
pytorch_estimator = PyTorch (entry_point = 'pytorch/mnist.py',
                            роль = 'SageMakerRole',
                            зависимости=['dep.py'],
                            git_config=git_config,
                            количество_экземпляров = 1,
                            instance_type='локальный')
 

 # В этом примере указан репозиторий CodeCommit и попытка аутентификации с предоставленным именем пользователя и паролем
git_config = {'repo': 'https://git-codecommit.us-west-2.amazonaws.com/v1/repos/your_repo_name',
              'имя пользователя': 'имя пользователя',
              'пароль': 'passw0rd!'}

mx_estimator = MXNet(entry_point='mxnet/mnist. py',
                     роль = 'SageMakerRole',
                     git_config=git_config,
                     количество_экземпляров = 1,
                     instance_type='ml.c4.xlarge')
 

Поддержка Git может использоваться не только для учебных заданий, но и для размещения моделей. Использование такое же, как и выше, и git_config следует указывать при создании объектов модели, например.г. TensorFlowModel , MXNetModel , PyTorchModel .

Использование файловых систем в качестве входных данных для обучения

Amazon SageMaker поддерживает использование Amazon Elastic File System (EFS) и FSx for Lustre в качестве источников данных для обучения. Если вы хотите использовать эти источники данных, создайте файловую систему (EFS/FSx) и смонтируйте файловую систему на экземпляре Amazon EC2. Дополнительные сведения о настройке EFS и FSx см. в следующей документации:

.

Обычно используется класс FileSystemInput или FileSystemRecordSet , который инкапсулирует все необходимые аргументы, требуемые службой для использования EFS или Lustre.

Вот примеры использования Amazon EFS в качестве входных данных для обучения:

 # В этом примере показано, как использовать класс FileSystemInput
# Настройте оценщик с подсетями и группами безопасности из вашего VPC. Том EFS должен находиться в
# тот же VPC, что и ваш инстанс Amazon EC2
оценка = TensorFlow (entry_point = 'tensorflow_mnist/mnist.py',
                       роль = 'SageMakerRole',
                       количество_экземпляров = 1,
                       instance_type='ml.c4.xlarge',
                       подсети = ['подсеть-1', 'подсеть-2']
                       security_group_ids=['sg-1'])

file_system_input = FileSystemInput (file_system_id = 'fs-1',
                                    file_system_type = 'EFS',
                                    directory_path='/tensorflow',
                                    file_system_access_mode='ro')

# Запустите обучающее задание Amazon SageMaker с EFS, используя класс FileSystemInput
оценщик.подходит (file_system_input)
 

 # В этом примере показано, как использовать класс FileSystemRecordSet
# Настройте оценщик с подсетями и группами безопасности из вашего VPC.  Том EFS должен находиться в
# тот же VPC, что и ваш инстанс Amazon EC2
kmeans = KMeans(role='SageMakerRole',
                количество_экземпляров = 1,
                instance_type='ml.c4.xlarge',
                к=10,
                подсети = ['подсеть-1', 'подсеть-2'],
                security_group_ids=['sg-1'])

записи = FileSystemRecordSet(file_system_id='fs-1,
                              file_system_type = 'EFS',
                              directory_path='/kmeans',
                              число_записей = 784,
                              функция_дим = 784)

# Запустите обучающее задание Amazon SageMaker с EFS, используя класс FileSystemRecordSet.
км означает.подходят (записи)
 

Вот примеры использования Amazon FSx for Lustre в качестве входных данных для обучения:

 # В этом примере показано, как использовать класс FileSystemInput
# Настройте оценщик с подсетями и группами безопасности из вашего VPC. VPC должен быть таким же
# вы выбрали для своего инстанса Amazon EC2

оценка = TensorFlow (entry_point = 'tensorflow_mnist/mnist. py',
                       роль = 'SageMakerRole',
                       количество_экземпляров = 1,
                       instance_type='мл.c4.xlarge',
                       подсети = ['подсеть-1', 'подсеть-2']
                       security_group_ids=['sg-1'])


file_system_input = FileSystemInput (file_system_id = 'fs-2',
                                    file_system_type = 'FSxLustre',
                                    directory_path='//tensorflow',
                                    file_system_access_mode='ro')

# Запустите обучающее задание Amazon SageMaker с FSx, используя класс FileSystemInput
оценка.fit(file_system_input)
 

 # В этом примере показано, как использовать класс FileSystemRecordSet
# Настройте оценщик с подсетями и группами безопасности из вашего VPC.VPC должен быть таким же
# вы выбрали для своего инстанса Amazon EC2
kmeans = KMeans(role='SageMakerRole',
                количество_экземпляров = 1,
                instance_type='ml. c4.xlarge',
                к=10,
                подсети = ['подсеть-1', 'подсеть-2'],
                security_group_ids=['sg-1'])

записи = FileSystemRecordSet(file_system_id='fs-=2,
                              file_system_type = 'FSxLustre',
                              directory_path='/<идентификатор_монтирования>/kmeans',
                              число_записей = 784,
                              функция_дим = 784)

# Запустите обучающее задание Amazon SageMaker с FSx, используя класс FileSystemRecordSet
км означает.подходят (записи)
 

Источники данных из EFS и FSx также можно использовать для заданий настройки гиперпараметров. Использование такое же, как описано выше.

Несколько важных замечаний:

Показатели обучения

SageMaker Python SDK позволяет указать имя и регулярное выражение для показателей, которые вы хотите отслеживать для обучения. Регулярное выражение (регулярное выражение) соответствует тому, что находится в журналах алгоритма обучения, подобно функции поиска. Вот пример определения метрик:

 # Настройте BYO Estimator с определениями метрик (обучения пока не происходит)
byo_estimator = Оценщик (image_uri = image_uri,
                          роль = 'SageMakerRole', instance_count = 1,
                          instance_type='мл.c4.xlarge',
                          sagemaker_session = sagemaker_session,
                          metric_definitions=[{'Name': 'test:msd', 'Regex': '#quality_metric: host=\S+, test msd =(\S+)'},
                                              {'Name': 'test:ssd', 'Regex': '#quality_metric: host=\S+, test ssd <потеря>=(\S+)'}])
 

Все алгоритмы Amazon SageMaker имеют встроенную поддержку метрик. Дополнительные сведения о встроенных показателях каждого алгоритма Amazon SageMaker см. в документации AWS.

BYO Docker Containers с SageMaker Estimators

Чтобы использовать созданный вами образ Docker и использовать SageMaker SDK для обучения, проще всего использовать специальный класс Estimator . Вы можете создать экземпляр класса Estimator с желаемым образом Docker и использовать его, как описано в предыдущих разделах.

Пожалуйста, обратитесь к полному примеру в репозитории примеров:

клон

 git https://github.com/awslabs/amazon-sagemaker-examples.мерзавец
 

Пример блокнота находится здесь: расширенная_функциональность/scikit_bring_your_own/scikit_bring_your_own.ipynb

Вы также можете найти эту записную книжку в папке Advanced Functionality раздела SageMaker Examples в экземпляре записной книжки. Сведения об использовании примеров блокнотов в экземпляре блокнота SageMaker см. в разделе Использование примеров блокнотов. в документации АВС.

Дополнительное обучение

Добавочное обучение позволяет добавить предварительно обученную модель в задание обучения SageMaker и использовать ее в качестве отправной точки для новой модели.Есть несколько ситуаций, когда вам может понадобиться это сделать:

• Вы хотите провести дополнительное обучение модели, чтобы улучшить ее соответствие набору данных.

• Вы хотите импортировать предварительно обученную модель и подогнать ее под свои данные.

• Вы хотите возобновить задание обучения, которое вы ранее остановили.

Чтобы использовать добавочное обучение с алгоритмами SageMaker, вам нужны артефакты модели, сжатые в файл tar.gz .Эти артефакты передаются в задание обучения через входной канал, настроенный с предварительно заданными параметрами, которые требуются для алгоритмов Amazon SageMaker.

Чтобы использовать файлы модели с оценщиком SageMaker, вы можете использовать следующие параметры:

• model_uri : указывает на расположение архива модели либо в S3, либо локально. Указание локального пути работает только в локальном режиме.

• model_channel_name : имя канала, которое SageMaker будет использовать для загрузки архива, указанного в model_uri .По умолчанию «модель».

Это преобразуется во входной канал с указанными выше спецификациями после того, как вы вызовете fit() для предиктора. В собственных случаях model_channel_name можно переопределить, если вам требуется изменить имя канала при использовании те же настройки.

Если ваш собственный случай требует других настроек, вы можете создать свой собственный объект s3_input с нужными вам настройками.

Вот пример использования поэтапного обучения:

 # Настроить оценщик
оценщик = создатель мудрецов.estimator.Estimator(training_image,
                                          роль,
                                          количество_экземпляров = 1,
                                          instance_type='ml.p2.xlarge',
                                          объем_размер = 50,
                                          max_run=360000,
                                          input_mode = 'Файл',
                                          output_path=s3_output_location)

# Запустите обучающее задание SageMaker и дождитесь его завершения.estimator.fit('s3://my_bucket/my_training_data/')

# Создать новый оценщик, используя артефакты предыдущей модели
incr_estimator = sagemaker. estimator.Estimator(training_image,
                                              роль,
                                              количество_экземпляров = 1,
                                              instance_type='ml.p2.xlarge',
                                              объем_размер = 50,
                                              max_run=360000,
                                              input_mode = 'Файл',
                                              output_path=s3_output_location,
                                              model_uri=оценщик.модель_данные)

# Запустить обучающее задание SageMaker, используя исходную модель для постепенного обучения.
incr_estimator.fit('s3://my_bucket/my_training_data/')
 

В настоящее время добавочное обучение поддерживают следующие алгоритмы:

• Классификация изображений

• Обнаружение объекта

• Семантическая сегментация

Для получения выводов можно использовать модели, которые вы обучаете вне Amazon SageMaker, и пакеты моделей, которые вы создаете или на которые подписываетесь в AWS Marketplace.

BYO Модель

Вы можете создать конечную точку на основе существующей модели, обученной вне Amazon Sagemaker. То есть вы можете принести свою модель:

Сначала упакуйте файлы для обученной модели в файл .tar.gz и загрузите архив на S3.

Затем создайте объект Model , соответствующий используемой вами структуре: MXNetModel или TensorFlowModel.

Пример кода с использованием MXNetModel :

 от sagemaker.mxnet.model импортировать MXNetModel

sagemaker_model = MXNetModel(model_data='s3://path/to/model.tar.gz',
                             role='arn:aws:iam::accid:sagemaker-role',
                             entry_point='entry_point.py')
 

После этого вызовите метод deploy() для модели :

 предсказатель = sagemaker_model.deploy (initial_instance_count = 1,
                                   instance_type='ml.m4.xlarge')
 

Это возвращает предиктор так же, как Estimator , когда вызывается deploy() . Теперь вы можете получать выводы так же, как и с любой другой моделью, развернутой в Amazon SageMaker.

Полный пример доступен в репозитории примеров Amazon SageMaker.

Вы также можете найти этот блокнот в разделе Advanced Functionality раздела SageMaker Examples в экземпляре ноутбука. Сведения об использовании примеров блокнотов в экземпляре блокнота SageMaker см. в разделе Использование примеров блокнотов. в документации АВС.

Использование пакетов моделей SageMaker

Пакеты моделей SageMaker — это способ указания и обмена информацией о том, как создавать модели SageMaker.С пакетом моделей SageMaker, который вы создали или на который подписались в AWS Marketplace, вы можете использовать указанное обслуживающее изображение и данные модели для конечных точек и заданий пакетного преобразования.

Для работы с пакетом моделей SageMaker используйте класс ModelPackage .

Вот пример:

 импортный производитель шалфея

модель = sagemaker. ModelPackage(
    роль = 'SageMakerRole',
    model_package_arn='arn:aws:sagemaker:us-west-2:123456:model-package/my-model-package')
модель.развернуть (1, 'ml.m4.xlarge', endpoint_name = 'моя-конечная точка')

# Когда вы закончите использовать свою конечную точку
model.sagemaker_session.delete_endpoint('моя-конечная точка')
 

Все оценщики можно использовать с автоматической настройкой модели SageMaker, которая выполняет задания по настройке гиперпараметров. Задание настройки гиперпараметров находит наилучшую версию модели, запуская множество заданий обучения в вашем наборе данных с использованием алгоритма с различными значениями гиперпараметров в пределах диапазонов. что вы указываете. Затем он выбирает значения гиперпараметров, которые приводят к модели, которая работает лучше всего, как измеряется выбранной вами метрикой.Если вы не используете встроенный алгоритм Amazon SageMaker, метрика определяется предоставленным вами регулярным выражением. Задание настройки гиперпараметров анализирует журналы задания обучения, чтобы найти метрики, соответствующие заданному вами регулярному выражению. Дополнительные сведения об автоматической настройке моделей SageMaker см. в документации AWS.

SageMaker Python SDK содержит класс HyperparameterTuner для создания заданий обучения гиперпараметров и взаимодействия с ними. Вот базовый пример того, как его использовать:

 от sagemaker.импорт тюнера HyperparameterTuner, ContinuousParameter

# Настроить HyperparameterTuner
my_tuner = HyperparameterTuner(estimator=my_estimator, # ранее настроенный объект Estimator
                               target_metric_name = 'точность проверки',
                               hyperparameter_ranges = {'скорость обучения': ContinuousParameter (0,05, 0,06)},
                               metric_definitions=[{'Имя': 'проверка-точность', 'Регулярное выражение': 'проверка-точность=(\d\.\d+)'}],
                               макс_работы=100,
                               max_parallel_jobs=10)

# Запустить задание по настройке гиперпараметров
мой_тюнер.fit({'train': 's3://my_bucket/my_training_data', 'test': 's3://my_bucket_my_testing_data'})

# Развернуть лучшую модель
my_predictor = my_tuner. deploy (initial_instance_count = 1, instance_type = 'ml.m4.xlarge')

# Сделать прогноз относительно конечной точки SageMaker
ответ = my_predictor.predict(my_prediction_data)

# Отключить конечную точку SageMaker
my_predictor.delete_endpoint()
 

В этом примере показано задание настройки гиперпараметров, которое создает до 100 заданий обучения, выполняя до 10 заданий обучения одновременно.Скорость обучения каждого учебного задания составляет значение от 0,05 до 0,06, но это значение будет различаться между учебными заданиями. Подробнее о выборе этих значений можно прочитать в документации AWS.

Диапазон гиперпараметров может быть одного из трех типов: непрерывный, целочисленный или категориальный. SageMaker Python SDK предоставляет соответствующие классы для определения этих различных типов. Вы можете определить до 20 гиперпараметров для поиска, но каждое значение категориального диапазона гиперпараметров учитывается в этом ограничении.

По умолчанию ранняя остановка задания обучения отключена. Чтобы включить раннюю остановку задания настройки, необходимо установить для параметра Early_stopping_type значение Auto :

.

 # Включить раннюю остановку
my_tuner = HyperparameterTuner(estimator=my_estimator, # ранее настроенный объект Estimator
                               target_metric_name = 'точность проверки',
                               hyperparameter_ranges={'скорость обучения': ContinuousParameter(0.05, 0,06)},
                               metric_definitions=[{'Имя': 'проверка-точность', 'Регулярное выражение': 'проверка-точность=(\d\.\d+)'}],
                               макс_работы=100,
                               max_parallel_jobs=10,
                               Early_stopping_type='Авто')
 

Если ранняя остановка включена, Amazon SageMaker автоматически остановит задание обучения, если маловероятно, что оно создаст модель более высокого качества, чем другие задания. Обратите внимание, что если вы не используете встроенные алгоритмы Amazon SageMaker, чтобы ранняя остановка была эффективной, целевая метрика должна создаваться на уровне эпохи.

Если вы используете встроенный алгоритм Amazon SageMaker, вам не нужно ничего передавать для metric_definitions . Кроме того, вызов fit() использует список объектов RecordSet вместо словаря:

 # Создать объект RecordSet для каждого канала данных
train_records = набор записей (...)
test_records = набор записей (...)

# Запустить задание по настройке гиперпараметров
my_tuner.fit([train_records, test_records])
 

Чтобы помочь присоединить ранее запущенное задание настройки гиперпараметров к экземпляру HyperparameterTuner , fit() добавляет путь к модулю класса, используемого для создания средства настройки гиперпараметров, в список статических гиперпараметров по умолчанию.Если вы используете свой собственный класс оценщика (т. е. не представленный в этом SDK) и хотите, чтобы этот класс использовался при подключении задания настройки гиперпараметров, установите include_cls_metadata на True , когда вы вызываете , подходите , чтобы добавить путь к модулю в качестве статических гиперпараметров.

Существует также объект аналитики, связанный с каждым экземпляром HyperparameterTuner , который содержит полезную информацию о задании настройки гиперпараметров. Например, метод dataframe получает кадр данных pandas, суммирующий связанные задания обучения:

 # Получить объект аналитики
my_tuner_analytics = мой_тюнер.аналитика()

# Посмотрите сводку связанных заданий по обучению
my_dataframe = my_tuner_analytics.dataframe()
 

Вы можете установить все необходимые для этой функции зависимости, используя pip:

 pip install 'sagemaker [аналитика]' --upgrade
 

Более подробные примеры выполнения заданий по настройке гиперпараметров см. в статье:

.

Вы также можете найти эти записные книжки в разделе Hyperprameter Tuning раздела SageMaker Examples в экземпляре записной книжки.Сведения об использовании примеров блокнотов в экземпляре блокнота SageMaker см. в разделе Использование примеров блокнотов. в документации АВС.

Для получения более подробных объяснений классов, которые эта библиотека предоставляет для автоматической настройки модели, см.:

Amazon SageMaker Serverless Inference позволяет легко развертывать модели машинного обучения для получения логических выводов, не для настройки или управления базовой инфраструктурой. После обучения модели ее можно развернуть в Amazon Sagemaker. Бессерверная конечная точка, а затем вызовите конечную точку с моделью, чтобы получить результаты логического вывода.Больше информации о SageMaker Serverless Inference можно найти в документации AWS.

Для развертывания бессерверной конечной точки необходимо создать ServerlessInferenceConfig . Если вы создаете ServerlessInferenceConfig без указания его аргументов, значение по умолчанию MemorySizeInMB будет равно 2048 и по умолчанию MaxConcurrency будет 5 :

 из sagemaker. serverless import ServerlessInferenceConfig

# Создайте пустой объект ServerlessInferenceConfig, чтобы использовать значения по умолчанию
serverless_config = новый ServerlessInferenceConfig()
 

Или вы можете указать MemorySizeInMB и MaxConcurrency в ServerlessInferenceConfig (пример показан ниже):

 # Укажите MemorySizeInMB и MaxConcurrency в бессерверном объекте конфигурации
serverless_config = новый ServerlessInferenceConfig(
  memory_size_in_mb=4096,
  макс_конкурренси=10,
)
 

Затем используйте ServerlessInferenceConfig в методе deploy() оценщика для развертывания бессерверной конечной точки:

 # Развертывает модель, созданную функцией fit(), на бессерверную конечную точку SageMaker.
serverless_predictor = оценщик.развернуть (serverless_inference_config = serverless_config)
 

После завершения развертывания вы можете использовать метод Predict() для вызова бессерверной конечной точки точно так же, как конечные точки в реальном времени:

 # Сериализирует данные и отправляет запрос прогноза на бессерверную конечную точку SageMaker. 
ответ = serverless_predictor.predict(данные)
 

При необходимости очистить конечную точку и модель после логического вывода:

 # Разрывает конечную точку SageMaker и конфигурацию конечной точки
безсерверный_предиктор.удалить_конечная точка()

# Удаляет модель SageMaker
serverless_predictor.delete_model()
 

Дополнительные сведения о ServerlessInferenceConfig см. см. документацию по API для Serverless Inference

После обучения модели можно использовать пакетное преобразование Amazon SageMaker для выполнения логических выводов на основе модели. Пакетное преобразование управляет всеми необходимыми вычислительными ресурсами, включая запуск экземпляров для развертывания конечных точек и их последующее удаление. Подробнее о пакетном преобразовании SageMaker можно прочитать в документации AWS.

Если вы обучили модель с помощью средства оценки SageMaker Python SDK, вы можете вызвать метод transform() оценщика, чтобы создать задание преобразования для модели на основе задания обучения:

Трансформатор

 = estimator. transformer(instance_count=1, instance_type='ml.m4.xlarge')
 

В качестве альтернативы, если у вас уже есть модель SageMaker, вы можете создать экземпляр класса Transformer , вызвав его конструктор:

 от sagemaker.Импорт трансформатора Трансформатор

трансформатор = Трансформер (имя_модели = 'моя ранее обученная модель',
                          количество_экземпляров = 1,
                          instance_type='ml.m4.xlarge')
 

Полный список возможных параметров для настройки с помощью любого из этих методов см. в документации по API для Estimator или Transformer.

После создания объекта Transformer вы можете вызвать transform() , чтобы запустить задание пакетного преобразования с расположением ваших данных в S3.Вы также можете указать другие атрибуты ваших данных, например тип контента.

 трансформатор.transform('s3://my-bucket/batch-transform-input')
 

Дополнительные сведения о том, что здесь можно указать, см. в документации по API.

SageMaker Python SDK поддерживает локальный режим, который позволяет создавать средства оценки и развертывать их в локальной среде. Это отличный способ протестировать сценарии глубокого обучения перед их запуском в управляемых средах обучения или хостинга SageMaker.Локальный режим поддерживается для образов платформ (TensorFlow, MXNet, Chainer, PyTorch и Scikit-Learn) и образов, которые вы предоставляете сами.

Вы можете установить все необходимые для этой функции зависимости, используя pip:

 pip install 'sagemaker [local]' --upgrade
 

Если вы хотите сохранить все локально и не использовать Amazon S3, вы можете включить «локальный код» одним из двух способов:

 из sagemaker.local импортировать LocalSession

sagemaker_session = Локальная сессия ()
sagemaker_session.config = {'local': {'local_code': True}}

# передать sagemaker_session вашему оценщику или модели
 

Примечание

Если вы включите «локальный код», то вы не сможете использовать параметр зависимостей в своем оценщике или модели.

Мы можем взять пример из Использование оценщиков и использовать либо local , либо local_gpu в качестве типа экземпляра.

 из sagemaker.mxnet импортировать MXNet

# Настройте MXNet Estimator (обучения пока не происходит)
mxnet_estimator = MXNet('поезд.ру',
                        роль = 'SageMakerRole',
                        instance_type = 'локальный',
                        количество_экземпляров = 1,
                        framework_version='1.2.1')

# В локальном режиме fit будет извлекать образ Docker-контейнера MXNet и запускать его локально
mxnet_estimator.fit('s3://my_bucket/my_training_data/')

# Кроме того, вы можете тренироваться, используя данные в вашей локальной файловой системе. Это поддерживается только в локальном режиме.
mxnet_estimator.fit('файл:///tmp/my_training_data')

# Развертывает модель, сгенерированную функцией fit(), в локальную конечную точку в контейнере
mxnet_predictor = mxnet_estimator.развернуть (initial_instance_count = 1, instance_type = 'local')

# Сериализирует данные и отправляет запрос прогноза на локальную конечную точку
ответ = mxnet_predictor. predict(данные)

# Разрывает контейнер конечной точки и удаляет соответствующую конфигурацию конечной точки
mxnet_predictor.delete_endpoint()

# Удаляет модель
mxnet_predictor.delete_model()
 

Если у вас есть существующая модель и вы хотите развернуть ее локально, не указывайте аргумент sagemaker_session в конструкторе MXNetModel .Правильный сеанс создается при вызове model.deploy() .

Вот сквозной пример:

 импорт numpy
из sagemaker.mxnet импортировать MXNetModel

model_location = 's3://mybucket/my_model.tar.gz'
code_location = 's3://mybucket/sourcedir.tar.gz'
s3_model = MXNetModel(model_data=model_location, role='SageMakerRole',
                      entry_point='mnist.py', source_dir=code_location)

предиктор = s3_model.deploy (initial_instance_count = 1, instance_type = 'local')
данные = число.нули (форма = (1, 1, 28, 28))
предиктор.predict(данные)

# Разорвите контейнер конечной точки и удалите соответствующую конфигурацию конечной точки
предиктор. delete_endpoint()

# Удаляет модель
предиктор.delete_model()
 

Если вы не хотите развертывать свою модель локально, вы также можете выполнить локальное задание пакетного преобразования. Это полезно, если вы хотите протестировать свой контейнер перед созданием задания пакетного преобразования Sagemaker. Обратите внимание, что производительность не будет соответствовать заданиям пакетного преобразования, размещенным в SageMaker, но все же это полезный инструмент, чтобы убедиться, что у вас есть все правильно или если вы не имеете дело с огромными объемами данных.

Вот сквозной пример:

 из sagemaker.mxnet импортировать MXNet

mxnet_estimator = MXNet('train.py',
                        роль = 'SageMakerRole',
                        instance_type = 'локальный',
                        количество_экземпляров = 1,
                        framework_version='1.2.1')

mxnet_estimator.fit('файл:///tmp/my_training_data')
трансформатор = mxnet_estimator.transformer(1, 'local', assemble_with='Line', max_payload=1)
transform. transform('s3://my/transform/data, content_type='text/csv', split_type='Line')
трансформатор.ждать()

# Удаляет модель SageMaker
трансформатор.delete_model()
 

Подробные примеры запуска Docker в локальном режиме см.:

Вы также можете найти эти блокноты в разделе SageMaker Python SDK раздела SageMaker Examples в экземпляре блокнота. Сведения об использовании примеров блокнотов в экземпляре блокнота SageMaker см. в разделе Использование примеров блокнотов. в документации АВС.

Несколько важных замечаний:

• Одновременно может работать только одна конечная точка локального режима.

• Если вы используете данные S3 в качестве входных данных, они извлекаются из S3 в вашу локальную среду. Убедитесь, что у вас достаточно места для локального хранения данных.

• Если вы сталкиваетесь с проблемами, это часто связано с конфликтом различных контейнеров Docker. Уничтожение этих контейнеров и повторный запуск часто решают ваши проблемы.

• Локальный режим требует Docker Compose и nvidia-docker2 для local_gpu .

Предупреждение

Локальный режим еще не поддерживает следующее:

• Распределенное обучение для local_gpu

• Сжатие Gzip, конвейерный режим или файлы манифеста для входных данных

Amazon SageMaker позволяет контролировать сетевой трафик, входящий и исходящий из экземпляров контейнера модели, с помощью Amazon Virtual Private Cloud (VPC).Вы можете настроить SageMaker на использование собственного частного VPC для дополнительной защиты и мониторинга трафика.

Для получения дополнительной информации о возможностях Amazon SageMaker VPC и рекомендациях по настройке вашего VPC, см. следующую документацию:

Вы также можете сослаться или повторно использовать пример VPC, созданный для интеграционных тестов: test/integ/vpc_test_utils.py

Чтобы обучить модель с помощью собственного VPC, установите дополнительные параметры подсети и security_group_ids на оценщике :

 от sagemaker. mxnet импортировать MXNet

# Настройте MXNet Estimator с подсетями и группами безопасности из вашего VPC.
mxnet_vpc_estimator = MXNet('train.py',
                            instance_type='ml.p2.xlarge',
                            количество_экземпляров = 1,
                            framework_version='1.2.1',
                            подсети = ['подсеть-1', 'подсеть-2'],
                            security_group_ids=['sg-1'])

# SageMaker Training Job установит VpcConfig, и экземпляры контейнера будут запущены в вашем VPC.
mxnet_vpc_estimator.подходит ('s3://my_bucket/my_training_data/')
 

Для обучения модели с зашифрованным межконтейнерным трафиком установите необязательные параметры подсети и security_group_ids и флаг encrypt_inter_container_traffic как True на оценщике (Примечание. Этот флаг можно использовать, только если вы укажете, что обучение задание выполняется в VPC):

 из sagemaker.mxnet импортировать MXNet

# Настройте MXNet Estimator с подсетями и группами безопасности из вашего VPC. 
mxnet_vpc_estimator = MXNet('train.ру',
                            instance_type='ml.p2.xlarge',
                            количество_экземпляров = 1,
                            framework_version='1.2.1',
                            подсети = ['подсеть-1', 'подсеть-2'],
                            security_group_ids=['sg-1'],
                            encrypt_inter_container_traffic=Истина)

# Учебное задание SageMaker устанавливает VpcConfig, и экземпляры обучающего контейнера запускаются в вашем VPC с зашифрованным трафиком между контейнерами.
mxnet_vpc_estimator.подходит ('s3://my_bucket/my_training_data/')
 

Когда вы создаете Predictor из Estimator с помощью deploy() , в модели SageMaker будут установлены те же конфигурации VPC:

 # Создает модель SageMaker и конечную точку, используя один и тот же VpcConfig
# Экземпляры контейнера Endpoint будут работать в вашем VPC
mxnet_vpc_predictor = mxnet_vpc_estimator.deploy(initial_instance_count=1,
                                                 instance_type='ml. p2.большой')

# Вы также можете установить ``vpc_config_override`` для использования другого VpcConfig
other_vpc_config = {'Подсети': ['подсеть-3', 'подсеть-4'],
                    'SecurityGroupIds': ['sg-2']}
mxnet_predictor_other_vpc = mxnet_vpc_estimator.deploy(initial_instance_count=1,
                                                       instance_type='ml.p2.xlarge',
                                                       vpc_config_override=other_vpc_config)

# Установка ``vpc_config_override=None`` отключит VpcConfig
mxnet_predictor_no_vpc = mxnet_vpc_estimator.развернуть (initial_instance_count = 1,
                                                    instance_type='ml.p2.xlarge',
                                                    vpc_config_override=Нет)
 

Аналогичным образом, когда вы создаете Transformer из Estimator с помощью transform() , в модели SageMaker будут установлены те же конфигурации VPC:

 # Создает модель SageMaker с использованием того же VpcConfig
mxnet_vpc_transformer = mxnet_vpc_estimator. трансформатор (instance_count = 1,
                                                        instance_type='ml.p2.xlarge')

# Экземпляры контейнера Transform Job будут работать в вашем VPC
mxnet_vpc_transformer.transform('s3://my-bucket/batch-transform-input')
 

Вы можете включить режим сетевой изоляции при обучении и выводах в Amazon SageMaker.

Дополнительные сведения о режиме сетевой изоляции Amazon SageMaker см. в документации SageMaker по сетевой изоляции или режиму без Интернета.

Чтобы обучить модель в режиме сетевой изоляции, задайте для дополнительного параметра enable_network_isolation значение True в любом оценщике Framework, поддерживающем сетевую изоляцию.

 # установить для параметра enable_network_isolation значение True
sklearn_estimator = SKLearn('sklearn-train.py',
                            instance_type='ml.m4.xlarge',
                            framework_version='0.20.0',
                            гиперпараметры = {'эпохи': 20, 'размер партии': 64, 'скорость обучения': 0. 1},
                            enable_network_isolation = Истина)

# Тренировочное задание SageMaker будет находиться в контейнере без каких-либо входящих или исходящих сетевых вызовов во время выполнения.
sklearn_estimator.fit({'train': 's3://my-data-bucket/path/to/my/training/data',
                        'тест': 's3://my-data-bucket/path/to/my/test/data'})
 

При создании этого обучающего задания SageMaker Python SDK загрузит файлы в entry_point , source_dir и зависимости в S3 в виде сжатого исходного каталога .файл tar.gz ( 's3://mybucket/sourcedir.tar.gz' ).

С этим S3 URI будет добавлен новый канал задания обучения с именем , код . Перед инициализацией обучающего док-контейнера sourcedir.tar.gz будет загружен из S3 в том хранилища ML, как и любой другой автономный входной канал.

После начала задания обучения контейнер обучения просматривает автономный канал ввода с кодом , чтобы установить зависимости и запустить сценарий ввода. Это изолирует обучающий контейнер, поэтому ни входящие, ни исходящие сетевые вызовы выполняться не могут.

Вы можете создать конвейер для вывода в реальном времени или в пакетном режиме, состоящий из одного или нескольких контейнеров модели. Это поможет вы можете развернуть конвейер машинного обучения за одной конечной точкой, и вы можете сделать так, чтобы один вызов API выполнял предварительную обработку, оценку модели и пост-обработка ваших данных, прежде чем вернуть их обратно в качестве ответа.

Для этого вам нужно создать PipelineModel , который будет принимать список объектов Model .Вызов deploy() на PipelineModel предоставит вам конечную точку, которую можно вызывать для выполнения прогнозирования точки данных относительно конвейер ML.

 из sagemaker import image_uris, сеанс
из модели импорта sagemaker.model
из sagemaker.pipeline импортировать PipelineModel
из sagemaker.sparkml импортировать SparkMLModel

xgb_image = image_uris. retrieve("xgboost", session.Session().boto_region_name, repo_version="последняя")
xgb_model = Model(model_data="s3://путь/к/модели.tar.gz", image_uri=xgb_image)
sparkml_model = SparkMLModel(model_data="s3://path/to/model.tar.gz", env={"SAGEMAKER_SPARKML_SCHEMA": схема})

model_name = "вывод-конвейерная-модель"
endpoint_name = "inference-pipeline-endpoint"
sm_model = PipelineModel (имя = имя_модели, роль = роль sagemaker_role, модели = [sparkml_model, xgb_model])
 

Это определяет PipelineModel , состоящую из модели SparkML и модели XGBoost, расположенных последовательно. Дополнительные сведения об обучении модели XGBoost см. в блокноте XGBoost здесь.

Вы также можете найти эту записную книжку в разделе Введение в алгоритмы Amazon раздела Примеры SageMaker в экземпляре записной книжки. Сведения об использовании примеров блокнотов в экземпляре блокнота SageMaker см. в разделе Использование примеров блокнотов. в документации АВС.

 sm_model.deploy (initial_instance_count = 1, instance_type = 'ml.c5.xlarge', endpoint_name = endpoint_name)
 

Это возвращает предиктор так же, как Estimator , когда вызывается deploy() .Всякий раз, когда вы делаете вывод запроса с использованием этого предиктора, вы должны передать данные, которые ожидает первый контейнер, и предиктор вернет вывод из последнего контейнера.

Вы также можете использовать PipelineModel для создания заданий преобразования для пакетных преобразований. Используя тот же PipelineModel sm_model , что и выше:

 # Требуются только instance_type и instance_count.
трансформатор = sm_model.transformer (instance_type = 'ml.c5.xlarge',
                                   количество_экземпляров = 1,
                                   стратегия = 'Многозапись',
                                   макс_полезная нагрузка=6,
                                   max_concurrent_transforms=8,
                                   принять='текст/CSV',
                                   assemble_with = 'Линия',
                                   output_path='s3://my-output-bucket/path/to/my/output/data/')
# Требуются только данные. трансформатор.преобразование (данные = 's3://my-input-bucket/path/to/my/csv/data',
                      content_type = 'текст/csv',
                      split_type='Линия')
# Ожидает завершения задания конвейерного преобразования.
трансформатор.подождите()
 

Это запускает задание преобразования для всех файлов под s3://mybucket/path/to/my/csv/data , преобразуя ввод данные по порядку с каждым модельным контейнером в конвейере. Для каждого входного файла, который был успешно преобразован, один выходной файл в s3://my-output-bucket/path/to/my/output/data/ будет создан с тем же именем, с добавлением ‘.вне’. Это задание преобразования разделит файлы CSV по разделителям новой строки, что особенно полезно, если входные файлы большие. Задание преобразования объединяет выходные данные с разделителями строк при записи соответствующего выходного файла каждого входного файла. Каждая полезная нагрузка, поступающая в контейнер первой модели, будет иметь размер до шести мегабайт, а в одновременно с контейнером первой модели. Поскольку каждая полезная нагрузка состоит из мини-пакета нескольких записей CSV, модель контейнеры преобразуют каждый мини-пакет записей.

Подробные примеры использования конвейеров логического вывода см. в следующих блокнотах:

Вы также можете найти эти записные книжки в разделе Advanced Functionality раздела SageMaker Examples в экземпляре записной книжки. Сведения об использовании примеров блокнотов в экземпляре блокнота SageMaker см. в разделе Использование примеров блокнотов. в документации АВС.

Вы можете использовать Amazon SageMaker Model Monitoring для автоматического обнаружения отклонений от концепции путем мониторинга моделей машинного обучения.

Дополнительные сведения см. в разделе Мониторинг моделей SageMaker.

Вы можете использовать Amazon SageMaker Debugger для автоматического обнаружения аномалий при обучении моделей машинного обучения.

Дополнительные сведения см. в разделе Отладчик SageMaker.

Вы можете использовать Amazon SageMaker Processing с «Процессорами» для выполнения задач обработки данных, таких как предварительная и постобработка данных, разработка функций, проверка данных и оценка модели

Я хочу обучить SageMaker Estimator с локальными данными, как мне это сделать?

Перед тренировкой загрузить данные в S3.Для этого можно использовать инструмент командной строки AWS (aws cli).

Если у вас нет aws cli, вы можете установить его с помощью pip:

 pip установить awscli --upgrade --user
 

Если у вас нет pip или вы хотите узнать больше об установке aws cli, см. официальное руководство по установке Amazon aws cli.

После установки AWS cli вы можете загрузить каталог файлов на S3 с помощью следующей команды:

 aws s3 cp /tmp/foo/s3://bucket/путь
 

Дополнительные сведения об использовании интерфейса командной строки aws для управления ресурсами S3 см. в справочнике по командам AWS cli.

Spark в локальном режиме — документация платформы факультета

Самый простой способ попробовать Apache Spark от Python на факультете — в режиме локальный . Вся обработка выполняется на одном сервере. Ты таким образом, вы по-прежнему выигрываете от распараллеливания всех ядер в вашем сервера, а не между несколькими серверами.

Spark работает на виртуальной машине Java. Он предоставляет Python, R и Интерфейс Скала. Вы можете взаимодействовать со всеми этими интерфейсами на Факультет, но процедура установки немного отличается.

Использование PySpark

Чтобы использовать PySpark на факультете, создайте пользовательскую среду для установки ПиСпарк. Ваша настраиваемая среда должна включать:

• openjdk-8-jdk в разделе системы ;

• pyspark в разделе Python , под пунктом.

Запустите новый сервер Jupyter с этой средой. К несчастью, PySpark плохо работает со средами Anaconda.Поэтому вы необходимо установить переменные среды, сообщающие Spark, какой Python исполняемый файл для использования. Добавьте эти строки в верхнюю часть блокнота:

.

 импорт ОС
импорт системы

os.environ['PYSPARK_PYTHON'] = sys.executable
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable
 

Теперь вы можете импортировать pyspark и создать контекст Spark:

 импорт pyspark

число_ядер = 8
память_гб = 24
конф = (
    pyspark.SparkConf()
        .setMaster('local[{}]'.format(number_cores))
        .set('spark.driver.memory', '{}g'.format(memory_gb))
)
sc = pyspark.SparkContext(conf=conf)
 

pyspark не поддерживает перезапуск контекста Spark, поэтому, если вам нужно изменить настройки для вашего кластера, вам нужно будет перезапустить Jupyter ядро.

Теперь, когда мы создали экземпляр контекста Spark, мы можем использовать его для запуска расчеты:

 rdd = sc. parallelize([1, 4, 9])
sum_squares = rdd.map (лямбда-элемент: float (элемент) ** 2). сумма ()
 

В этом примере жестко закодировано количество потоков и объем памяти.Ты можешь хотите установить их динамически в зависимости от размера сервера. Ты сможешь используйте переменные среды NUM_CPUS и AVAILABLE_MEMORY_MB чтобы определить размер сервера, на котором в данный момент работает ноутбук на:

 number_cores = int(os.environ['NUM_CPUS'])
memory_gb = int(os.environ['AVAILABLE_MEMORY_MB']) // 1024
 

Использование оболочки Spark и API Scala

Для взаимодействия со Spark из Scala создайте новый сервер (любого типа) и создайте среду с openjdk-8-jdk в системе и следующее в разделе сценариев :

 SPARK_VERSION=2.3.1
ВЕРСИЯ_HADOOP=2.7
SPARK_HOME=/tmp/искра

компакт-диск /tmp
wget http://apache.mirror.anlx.net/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}. tgz

dist_name=spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}
имя_архива=$dist_name.tgz
tar xzf $имя_архива
rm $имя_архива
мв $dist_name $SPARK_HOME

кошка <<-EOF > /etc/faculty_environment.d/spark.sh
экспорт SPARK_HOME=/tmp/spark
экспорт PATH=$SPARK_HOME/bin:'$PATH'

псевдоним spark-shell="spark-shell --master=local[$NUM_CPUS] --driver-memory ${AVAILABLE_MEMORY_MB}M"
псевдоним spark-submit="spark-submit --master=local[$NUM_CPUS] --driver-memory ${AVAILABLE_MEMORY_MB}M"
EOF
 

Примените эту среду к Jupyter или к серверу RStudio.если ты теперь откройте новый терминал, вы можете запустить spark-shell , чтобы открыть Spark оболочка.

Хотя оболочка Spark позволяет быстро создавать прототипы и итерации, она не подходит для более значительных программ Scala. Нормальный маршрут для их разработки нужно создать приложение Scala, упаковать его как банка и запустите его с помощью spark-submit . Чтобы написать приложение Scala, вам нужно будет установить sbt. Ты сможешь установите sbt воспроизводимо, создав среду со следующими команды в разделе сценарии :

 wget -O /tmp/sbt https://raw.githubusercontent.com/paulp/sbt-extras/master/sbt
sudo mv /tmp/sbt /usr/local/bin/sbt
chmod a+x /usr/local/bin/sbt
 

Для обзора современной установки Scala и Spark, которая хорошо работает на Факультет, мы рекомендуем этот пост в блоге.

В частности, сеанс Spark должен быть создан следующим образом:

 импорт org.apache.spark.sql.SparkSession

черта SparkSessionProvider {

  ленивый val spark: SparkSession = {
    val numberCpus = sys.env.getOrElse ("NUM_CPUS", "*")
    Val availableMemoryMaybe = sys.env.get("ДОСТУПНАЯ_ПАМЯТЬ_МБ")

    построитель val = SparkSession
      .строитель()
      .master(s"local[$numberCpus]")
      .appName("искра на факультете")

    availableMemoryMaybe.foreach { availableMemory =>
      builder.config("spark.driver.memory", s"{availableMemory}m")
    }
    строитель.getOrCreate()
  }

}
 

Затем вы можете смешать или создать экземпляр этой черты в своем приложении:

 объектное приложение расширяет приложение с помощью SparkSessionProvider {
  val rdd = spark. sparkContext.распараллелить (список (1, 4, 9))
  println(rdd.map { _ * 2 }.sum)
}
 

Когда у вас есть готовое приложение, вы можете упаковать его, запустив сбт пакет . Это создает банку в целевом каталоге . Ты может запустить ваше приложение с помощью локального планировщика с искра-представить :

 цель отправки искры/scala-2.11/your-app_2.11-0.1-SNAPSHOT.jar
 

Искра и R

Для использования SparkR с сервера RStudio на факультете создайте среду, устанавливает Spark, описанный в предыдущем разделе.После того, как у вас есть применили эту среду к серверу RStudio, вы сможете получить доступ к Spark, выполнив следующие строки в сеансе R:

 Sys.setenv(SPARK_HOME = "/tmp/spark")
master <- paste("local[", Sys.getenv("NUM_CPUS"), "]", sep="")
память <- вставить(Sys.getenv("ДОСТУПНАЯ_ПАМЯТЬ_МБ"), "m", sep="")
библиотека(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sparkR. session (мастер = мастер, sparkConfig = список (spark.driver.memory = память))
 

Это запустит сеанс SparkR.Теперь вы можете попробовать примеры из документация SparkR:

 df <- as.DataFrame(верный)
голова (дф)
 

Доступ к пользовательскому интерфейсу Spark

Spark запускает панель инструментов, которая предоставляет информацию о заданиях, которые в настоящее время выполнение. Чтобы получить доступ к этой информационной панели, вы можете использовать клиентскую часть командной строки с вашего локального компьютера, чтобы открыть туннель к серверу:

 оболочка факультета <проект> <сервер> -L 4040:localhost:4040
 

Теперь вы сможете увидеть пользовательский интерфейс Spark в своем браузере по адресу http://локальный:4040.

Внешнее хранилище метаданных Apache Hive | Блоки данных на AWS

В этой статье описывается, как настроить кластеры блоков данных для подключения к существующим внешним хранилищам метаданных Apache Hive. В нем содержится информация о режимах развертывания хранилища метаданных, рекомендуемой настройке сети и требованиях к конфигурации кластера, а также инструкции по настройке кластеров для подключения к внешнему хранилищу метаданных. В следующей таблице приведены сводные данные о том, какие версии хранилища метаданных Hive поддерживаются в каждой версии среды выполнения Databricks.

Настройка сети

Кластеры

Databricks работают внутри виртуального частного облака (VPC). Мы рекомендуем вам настроить внешнее хранилище метаданных Hive внутри нового VPC, а затем выполнить пиринг этих двух VPC, чтобы кластеры подключались к хранилищу метаданных Hive с использованием частного IP-адреса. Пиринг VPC содержит подробные инструкции о том, как подключиться к VPC, используемому кластерами Databricks, и VPC, в котором находится хранилище метаданных. После пиринга VPC вы можете проверить сетевое подключение от кластера к VPC хранилища метаданных, выполнив следующую команду в ноутбуке:

 %ш
nc -vz <имя DNS или частный IP> <порт>
 

где

• — это DNS-имя или частный IP-адрес базы данных MySQL (для локального режима) или службы хранилища метаданных (для удаленного режима). Если вы используете здесь DNS-имя, убедитесь, что разрешенный IP-адрес является частным.
• — это порт базы данных MySQL или порт службы хранилища метаданных.

Конфигурации кластера

Для подключения кластера к внешнему хранилищу метаданных необходимо установить три набора параметров конфигурации:

• Параметры Spark настраивают Spark с использованием версии хранилища метаданных Hive и файлов JAR для клиента хранилища метаданных.
• Параметры Hive настраивают клиент хранилища метаданных для подключения к внешнему хранилищу метаданных.
• Необязательный набор параметров Hadoop настраивает параметры файловой системы.

Варианты конфигурации Spark

Установите spark.sql.hive.metastore.version на версию вашего хранилища метаданных Hive и spark.sql.hive.metastore.jars следующим образом:

• Hive 0.13: не устанавливать spark.sql. hive.metastore.jars .

• Hive 1.2.0 или 1.2.1 (среда выполнения Databricks 6.6 и ниже): установите spark.sql.hive.metastore.банки от до встроенные .

  Примечание

  Hive 1.2.0 и 1.2.1 не являются встроенным хранилищем метаданных в Databricks Runtime 7.0 и более поздних версий. Если вы хотите использовать Hive 1.2.0 или 1.2.1 с Databricks Runtime 7.0 и более поздних версий, выполните процедуру, описанную в разделе Загрузка JAR-файлов хранилища метаданных, и укажите на них.

• Hive 2.3.7 (среда выполнения Databricks 7.0 и выше): установите spark.sql.hive.metastore.jars на встроенный .

• Для всех других версий Hive Databricks рекомендует загрузить JAR-файлы хранилища метаданных и установить искру конфигурации .sql.hive.metastore.jars , чтобы указать на загруженные JAR-файлы, используя процедуру, описанную в разделе Загрузка JAR-файлов хранилища метаданных, и указать на них.

Варианты конфигурации куста

В этом разделе описываются параметры, характерные для Hive.

Параметры конфигурации для локального режима

Чтобы подключиться к внешнему хранилищу метаданных в локальном режиме, установите следующие параметры конфигурации Hive:

 # Строка подключения JDBC для хранилища метаданных JDBC
javax.jdo.опция.ConnectionURL jdbc:mysql://<хост-хранилища>:<порт-хранилища>/<база-хранилища-мета>

# Имя пользователя для использования в базе данных хранилища метаданных
javax.jdo.option.ConnectionUserName 

# Пароль для использования в базе данных хранилища метаданных
javax.jdo.option.ConnectionPassword 

# Имя класса драйвера для хранилища метаданных JDBC (среда выполнения 3.4 и более поздние версии)
javax.jdo.option.ConnectionDriverName org.mariadb.jdbc.Driver

# Имя класса драйвера для хранилища метаданных JDBC (до Runtime 3.4)
# javax.jdo.option.ConnectionDriverName com. mysql.jdbc.Driver
 

где

• и — это хост и прослушивающий порт вашего экземпляра MySQL.
• — это имя базы данных MySQL, в которой хранятся все таблицы хранилища метаданных.
• и указывают имя пользователя и пароль вашей учетной записи MySQL, которая имеет доступ на чтение/запись к .

Примечание

• Используйте драйвер MariaDB для связи с базами данных MySQL.
• Для рабочих сред рекомендуется установить для hive.metastore.schema.verification значение true . Это предотвращает неявное изменение клиентом хранилища метаданных Hive схемы базы данных хранилища метаданных, если версия клиента хранилища метаданных не соответствует версии базы данных хранилища метаданных. При включении этого параметра для версий клиента хранилища метаданных ниже, чем Hive 1. 2.0, убедитесь, что клиент хранилища метаданных имеет разрешение на запись в базу данных хранилища метаданных (чтобы предотвратить проблему, описанную в HIVE-9749).
  • Для хранилища метаданных Hive 1.2.0 и выше установите для параметра hive.metastore.schema.verification.record.version значение true , чтобы включить hive.metastore.schema.verification .
  • Для хранилища метаданных Hive 2.1.1 и более поздних версий установите для параметра hive.metastore.schema.verification.record.version значение true , поскольку по умолчанию установлено значение false .

Варианты конфигурации для удаленного режима

Чтобы подключиться к внешнему хранилищу метаданных в удаленном режиме, установите следующий параметр конфигурации Hive:

 # URI Thrift для удаленного хранилища метаданных.Используется клиентом хранилища метаданных для подключения к удаленному хранилищу метаданных. 
hive.metastore.uris thrift://<хост-хранилища>:<порт-хранилища>
 

, где <хост-хранилища> и <порт-хранилища> — это прослушивающий хост и порт службы хранилища метаданных Hive.

Опции файловой системы

Если вы хотите использовать профиль экземпляра и установить AssumeRole, вы должны установить:

• fs.s3a.credentialsType От до AssumeRole
• фс.s3a.stsAssumeRole.arn на имя ресурса Amazon (ARN) роли, которую нужно принять
.

Поиск и устранение неисправностей

Кластеры не запускаются (из-за неверных настроек сценария инициализации)

Если сценарий инициализации для настройки внешнего хранилища метаданных вызывает сбой при создании кластера, настройте сценарий инициализации для ведения журнала и отладьте сценарий инициализации с помощью журналов.

Ошибка в операторе SQL: InvocationTargetException

• Шаблон сообщения об ошибке в полной трассировке стека исключений:

   Причина: javax. jdo.JDOFatalDataStoreException: невозможно открыть тестовое соединение с данной базой данных. URL-адрес JDBC = [...]
   

  Информация о соединении JDBC с внешним хранилищем метаданных настроена неправильно. Проверьте настроенное имя хоста, порт, имя пользователя, пароль и имя класса драйвера JDBC. Кроме того, убедитесь, что имя пользователя имеет права доступа к базе данных хранилища метаданных.

• Шаблон сообщения об ошибке в полной трассировке стека исключений:

   Отсутствует необходимая таблица: «DBS» в каталоге «Схема».DataNucleus требует, чтобы эта таблица выполняла операции сохранения. [...]
   

  Внешняя база данных хранилища метаданных неправильно инициализирована. Убедитесь, что вы создали базу данных хранилища метаданных и указали правильное имя базы данных в строке подключения JDBC. Затем запустите новый кластер со следующими двумя параметрами конфигурации Spark:

  .

   datanucleus.autoCreateSchema true
  datanucleus.fixedDatastore false
   

  Таким образом, клиентская библиотека Hive попытается создать и инициализировать таблицы в базе данных хранилища метаданных автоматически, когда попытается получить к ним доступ, но обнаружит, что они отсутствуют.

Ошибка в операторе SQL: AnalysisException: невозможно создать экземпляр org.apache.hadoop.hive.metastore.HiveMetastoreClient

Сообщение об ошибке в полной трассировке стека исключений:

 Указанный драйвер хранилища данных (имя драйвера) не найден в CLASSPATH
 

Кластер настроен на использование неправильного драйвера JDBC.

Эта ошибка может возникнуть, если кластер, использующий среду выполнения 3.4 или более позднюю, настроен на использование драйвера MySQL, а не драйвера MariaDB.

Установка для datanucleus.autoCreateSchema значения true не работает должным образом

По умолчанию Databricks также задает для datanucleus.fixedDatastore значение true , что предотвращает любые случайные структурные изменения в базах данных хранилища метаданных. Поэтому клиентская библиотека Hive не может создавать таблицы хранилища метаданных, даже если для параметра datanucleus. autoCreateSchema задано значение true . Эта стратегия, как правило, более безопасна для производственных сред, поскольку она предотвращает случайное обновление базы данных хранилища метаданных.

Если вы хотите использовать datanucleus.autoCreateSchema для облегчения инициализации базы данных хранилища метаданных, убедитесь, что для datanucleus.fixedDatastore установлено значение false . Кроме того, вы можете изменить оба флага после инициализации базы данных хранилища метаданных, чтобы обеспечить лучшую защиту вашей производственной среды.

com.amazonaws.AmazonClientException: не удалось инициализировать драйвер SAX для создания XMLReader

Это исключение может быть вызвано, если версия кластера равна 2.1.1-дб5. Эта проблема была исправлена ​​в версии 2.1.1-db6. Для версии 2.1.1-db5 эту проблему можно решить, задав следующие свойства JVM как часть настроек spark.driver. extraJavaOptions и spark.executor.extraJavaOptions :

.

 -Djavax.xml.datatype.DatatypeFactory=com.sun.org.apache.xerces.internal.jaxp.datatype.DatatypeFactoryImpl
-Djavax.xml.parsers.DocumentBuilderFactory=com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderFactoryImpl
-Djavax.xml.parsers.SAXParserFactory=com.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl
-Djavax.xml.validation.SchemaFactory: https://www.w3.org/2001/XMLSchema=com.sun.org.apache.xerces.internal.jaxp.validation.XMLSchemaFactory
-Dorg.xml.sax.driver=com.sun.org.apache.xerces.internal.parsers.SAXParser
-Dorg.w3c.dom.DOMImplementationSourceList=com.sun.org.apache.xerces.internal.dom.DOMXSImplementationSourceImpl
 

Руководство по настройке программного обеспечения контроллера беспроводной сети Cisco Catalyst серии 9800, Cisco IOS XE Amsterdam 17.3.x — Пример конфигурации для локального режима — беспроводной и проводной [Контроллеры беспроводной сети Cisco Catalyst серии 9800]

В этом разделе содержится информация о настройке mDNS и маршрутизации услуг на проводном агенте SDG (SDG-1) с локальным Коммутаторы доступа уровня 2 в режиме Service-Peer (SP-1) и с централизованно сопряженным Cisco DNA-Center для маршрутизации услуг Wide Area Bonjour.

  Устройство № показать сводку mdns-sd vlan 10

ВЛАН: 10
==========================================
Шлюз mDNS: включен
Политика службы mDNS: ЛОКАЛЬНАЯ-ПОЛИТИКА
Активный запрос: отключен
Тип транспорта: IPv4
Суффикс экземпляра службы: не настроен
Тип запроса mDNS: ВСЕ
IP-адрес агента SDG: не настроен
Исходный интерфейс: не настроен
  

  Устройство № показать mdns-sd cache vlan 10

ВЛАН: 10
==========================================
Шлюз mDNS: включен
Политика службы mDNS: ЛОКАЛЬНАЯ-ПОЛИТИКА
Активный запрос: отключен
Тип транспорта: IPv4
Суффикс экземпляра службы: не настроен
Тип запроса mDNS: ВСЕ
IP-адрес агента SDG: не настроен
Исходный интерфейс: не настроен
  

Имя	Тип	ТТЛ/ Осталось	Влан-идентификатор /имя интерфейса	MAC-адрес	Данные записи RR
dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__1 "> _универсальный._sub._ipp ._tcp.локальный	ПТР	4500/4500	dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__4 "> Вл10	ac18.2651.03fe	Стр.1-ФЛ1-ПРН. _ипп. _tcp.local
dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__1 "> _ипп._tcp.local	ПТР	4500/4500	dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__4 "> Вл10	ac18.2651.03fe	Стр.1-ФЛ1-ПРН. _ипп. _tcp.local
dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__1 "> корп.1-FL1- ПРН._ипп. _tcp.local	СРВ	4500/4500	dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__4 "> Вл10	ac18.2651.03fe	0 0 631 Стр-1-ФЛ1-ПРН. местный
dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__1 "> Стр.1-FL1 -ПРН.местный	А	4500/4500	dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__4 "> Вл10	ac18.2651.03fe	10.153.1.1
dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__1 "> корп.1-FL1- ПРН.местный	АААА	4500/4500	dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__4 "> Вл10	ac18.2651.03fe	2001:10:153:1:79: А40К:6БЭЭ: АЭК
dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__1 "> корп.1-FL1- ПРН._ипп. _tcp.local	ТХТ	4500/4500	dita_d51fff9f-0fe3-489d-9fdb-4c1d3f2ea177__entry__4 "> Вл10	ac18.2651.03fe	(451)'txtvers=1''приоритет=30'' ty=EPSON WF-3620 Series'' usb_MFG=EPSON''usb_MDL=W~'~

  Device# показать статистику mdns-sd sp-sdg

                                 1 мин, 5 мин, 1 час
Средняя скорость ввода (pps): 0, 0, 0
Средняя скорость вывода (pps): 0, 0, 0
 Полученные сообщения:
  Запрос: 15796
  ЛЮБОЙ запрос : 0
  Объявлений : 28
  Рекламное снятие : 0
  Интерфейс не работает: 0
  Влан отключен: 0
  Изменение идентификатора узла обслуживания: 0
  Кэш одноранговой службы очищен: 12
  Ответ повторной синхронизации: 6
 Сообщения отправлены:
  Ответ на запрос: 5975
  ЛЮБОЙ ответ на запрос: 0
  Кэш-синхронизация: 61
  Получить экземпляр службы: 0

Device# показать детали контроллера mdns-sd

Контроллер: DNAC-Policy
 ИП: 100. 0.0.1, порт назначения: 9991, порт источника: 42446, состояние: UP
 Исходный интерфейс: Loopback0, MD5 отключен
 Таймер приветствия 30 секунд, Таймер ожидания 120 секунд, Следующее приветствие 00:00:24
 Время безотказной работы 2 д05 ч (17:02:37 UTC, 15 января 2021 г.)
 Служебный буфер: включен

Объявление о сервисе:
 Фильтр: DNAC-CONTROLLER-POLICY
 Отсчет 50, таймер задержки 30 секунд, ожидание объявления 0, ожидание снятия 0
 Всего экспортировано 56, следующий экспорт через 00:00:24

Сервисный запрос:
 Подавление запросов включено
 Количество запросов 50, таймер задержки запроса 15 секунд, ожидание 0
 Всего запросов 15791, следующий запрос через 00:00:09

  

«Мы местные, и мы не собираемся становиться национальными»

JAC закупает все продукты питания, входящие в его наборы, из района Новой Англии и предоставляет потребителям выбор «а-ля-карт», где они могут добавлять местные блюда. товары для дальнейшей настройки своих заказов.

«Мы хотим сделать приготовление здоровых и удобных обеденных блюд из местных продуктов на столе более чем вдохновляющей идеей», — заявил основатель и президент JAC Ян Лейфе в письме потенциальным инвесторам.

«Мы помогаем потребителям потреблять местные ингредиенты безопасным и доступным способом, а также питать местное сообщество, поддерживая фермеров, ремесленников и рыбаков прямо там, где они живут». ​

Клиенты JAC имеют возможность купить в Интернете традиционный набор для еды с доставкой на дом, приготовленный из местных ингредиентов, с возможностью добавления других местных продуктов к доставке через онлайн-магазин компании (например, закуски, продукты для завтрака). , и т.д.), или они могут купить розничный набор для еды в местном продуктовом магазине, чтобы приготовить сразу.

Превышение отраслевого стандарта, говорит основатель

Но нужен ли американским потребителям, в данном случае жителям Новой Англии, еще один набор продуктов на выбор?

По словам Лейфе, JAC «превосходит национальные наборы для еды по удержанию, частоте заказов и средним потребительским расходам в первый год». Компания заявила, что 92 доллара США при уровне удержания клиентов 26% (по сравнению со средним показателем по отрасли 13%, согласно Leife) и среднегодовыми расходами в размере 1862 долларов США на клиента в первый год использования сервиса.

По сравнению с прошлым годом продажи JAC выросли на 19%, что позволит компании достичь 1,7 млн ​​долларов США, если в четвертом квартале 2018 года объем продаж будет таким же, как и в четвертом квартале 2017 года.​

Целью JAC является сохранение локальности, в то время как другие игроки присматриваются к распространению по всей стране. По словам компании, на рынке наборов для еды стоимостью 2,2 миллиарда долларов есть место для местного бренда.

«Наборы для еды набрали популярность за последние несколько лет, но национальные бренды испытывают трудности», — сказал Лейфе.

Ранее в этом году компания Chef’d прекратила свою деятельность, а ​позже была приобретена специализированной фирмой HPP ​ True Family Enterprises.   ​Помимо ,  ​Стоимость акций Blue Apron снизилась с 10 долларов за акцию, когда она стала публичной 30 июня 2017 года, до 1,34 доллара за акцию в настоящее время.

«Просто добавь, готовка — это другое», — сказал Лейф. между нашими клиентами, фермерами и дистрибьюторами. ​

Однако, подражая другим национальным поставщикам продуктовых наборов, JAC признает, что подписка предназначена не для каждого потребителя, и планирует выйти на продуктовые магазины (в настоящее время она представлена ​​в 13 магазинах Roche Brothers в Массачусетсе).

«К нам обратились несколько розничных сетей на северо-востоке. Устная договоренность на пилотный проект в ряде магазинов у дома», — сообщили в компании .

По словам компании, она находится в процессе найма нового партнера по реализации, чтобы лучше поддерживать свое северо-восточное распределение и улучшать местные источники.

К концу 2018 года компания планирует представить высоко персонализированное решение для питания второго поколения , адаптированное к индивидуальным потребностям клиентов на основе искусственного интеллекта.

«Услуга, подобная нашей, позволяет клиентам очень просто поддерживать местную продовольственную экономику и обслуживать свою семью самыми свежими местными продуктами», — сказал Лейф.

«Мы поняли, что лучший способ оказать положительное влияние на устойчивое развитие и местную продовольственную экономику — облегчить клиентам доступ к местным ингредиентам.И мы находимся в уникальном положении для этого благодаря отношениям с поставщиками и логистике, которые позволяют нам быстро и устойчиво доставлять свежие продукты». ​

Искра локальная (псевдокластерная) · Искра

Вы можете запустить Spark в локальном режиме . В этом режиме нераспределенного развертывания с одной JVM Spark порождает все компоненты выполнения — драйвер, исполнитель, серверную часть и мастер — в одной и той же единственной JVM. Параллелизм по умолчанию — это количество потоков, указанное в основном URL-адресе.Это единственный режим, в котором для выполнения используется драйвер.

Рисунок 1. Архитектура Spark local

Локальный режим очень удобен для тестирования, отладки или демонстрации, так как не требует предварительной настройки для запуска приложений Spark.

Этот режим работы также называется Spark in-process или (реже) — локальная версия Spark .

SparkContext.isLocal возвращает true , когда Spark работает в локальном режиме.

  scala> sc.isLocal
res0: логическое значение = истина  

  scala> sc.мастер
res0: строка = локальный [*]  

Главный URL-адрес

Вы можете запустить Spark в локальном режиме, используя local , local[n] или самый общий local[*] для главного URL-адреса.

В URL-адресе указано, сколько всего потоков можно использовать:

• локальный использует только 1 поток.

• local[n] использует n потоков.

• local[*] использует столько потоков, сколько процессоров доступно для виртуальной машины Java (используется Runtime.getRuntime.availableProcessors(), чтобы узнать число).

Осторожно

ИСПРАВЛЕНИЕ Что произойдет, если в основном URL-адресе будет меньше ядер, чем n ? Это вопрос из твиттера.

• local[N, M] (называемый local-with-retries ), где N — это * или количество используемых потоков (как описано выше), а M — это значение spark.задача.maxFailures.

Отправка задания, также известная как оживление предложений

Рисунок 2. TaskSchedulerImpl.submitTasks в локальном режиме

При получении сообщений ReviveOffers или StatusUpdate LocalEndpoint помещает предложение в TaskSchedulerImpl (используя TaskSchedulerImpl. resourceOffers ).

При наличии одной или нескольких задач, соответствующих предложению, они запускаются (используя executor.метод launchTask ).

Количество запускаемых задач определяется количеством потоков, указанным в основном URL-адресе. Исполнитель использует потоки для создания задач.

Локальный сервер

Он действует как «менеджер кластера» для локального режима, чтобы предлагать ресурсы для одного рабочего, которым он управляет, т. е. он вызывает TaskSchedulerImpl.resourceOffers(offers) с предложениями , являющимися одноэлементной коллекцией с WorkerOffer («драйвер» , "локальный хост", freeCores) .

Осторожно

Обзор FIXME freeCores . Похоже, у вас может быть много заданий, работающих одновременно.

Когда исполнитель отправляет обновления состояния задачи (используя ExecutorBackend. statusUpdate ), они передаются как StatusUpdate в LocalEndpoint.

Рисунок 3. Поток обновлений статуса задачи в локальном режиме

Идентификаторы приложений имеют формат local-[текущее время в миллисекундах] .

Локальная конечная точка

При запуске LocalEndpoint (как часть локальной инициализации Spark) в журналы выводятся следующие ИНФО-сообщения:

  INFO Executor: запуск драйвера идентификатора исполнителя на хосте localhost
ИНФОРМАЦИЯ Исполнитель: Использование URI класса REPL: http://192.168.1.4:56131  

Создание экземпляра LocalEndpoint

RPC-сообщения

LocalEndpoint принимает следующие типы сообщений RPC:

• ReviveOffers (только для приема, неблокирующий) - чтение отправки задачи a.к.а. оживитьпредложения.

• StatusUpdate (только получение, неблокирующий), который передает сообщение в TaskScheduler (используя statusUpdate ) и, если статус задачи завершен, возобновляет предложения (см.