@mhg/blog
Version:
45 lines • 579 kB
HTML
<!DOCTYPE html><html lang="zh-Hans"><head hexo-theme="https://github.com/volantis-x/hexo-theme-volantis/#6.0.3"><meta name="generator" content="Hexo 8.1.2"><meta name="Volantis" content="6.0.3"><meta charset="utf-8"><meta name="robots" content="index,follow,max-image-preview:large"><link rel="canonical" href="https://blog.mhuig.top/notes/Zeta/144"><meta http-equiv="x-dns-prefetch-control" content="on"><link rel="dns-prefetch" href="https://static.mhuig.top"><link rel="preconnect" href="https://static.mhuig.top" crossorigin=""><meta name="renderer" content="webkit"><meta name="force-rendering" content="webkit"><meta http-equiv="X-UA-Compatible" content="IE=Edge,chrome=1"><meta name="HandheldFriendly" content="True"><meta name="mobile-web-app-capable" content="yes"><meta name="viewport" content="width=device-width,initial-scale=1,maximum-scale=5"><meta content="black-translucent" name="apple-mobile-web-app-status-bar-style"><meta content="telephone=no" name="format-detection"><script>function registerServiceWorker(e){"localhost"!=window.location.hostname&&"serviceWorker"in navigator&&navigator.serviceWorker.register(`${e}`).then((function(e){"localhost"==window.location.hostname&&(e.onupdatefound=function(){var r=e.installing;r.onstatechange=function(){switch(r.state){case"installed":navigator.serviceWorker.controller?console.log("Updated Service Worker."):console.log("Service Worker Sucess!");break;case"redundant":console.log("The installing service worker became redundant.")}}})})).catch((function(e){console.error("Error during service worker registration:",e),"undefined"==typeof swinstallretry&&(swinstallretry=1,registerServiceWorker("/jquery.js"))}))}registerServiceWorker("/jquery.js")</script><link rel="apple-touch-icon" sizes="180x180" href="/lib/favicon/apple-touch-icon.png"><link rel="icon" type="image/png" sizes="32x32" href="/lib/favicon/favicon-32x32.png"><link rel="icon" type="image/png" sizes="192x192" href="/lib/favicon/android-chrome-192x192.png"><link rel="icon" type="image/png" sizes="144x144" href="/lib/favicon/android-chrome-144x144.png"><link rel="icon" type="image/png" sizes="16x16" href="/lib/favicon/favicon-16x16.png"><link rel="manifest" href="/lib/favicon/site.webmanifest"><link rel="mask-icon" href="/lib/favicon/safari-pinned-tab.svg" color="#5bbad5"><meta name="apple-mobile-web-app-title" content="MHuiG Magicland"><meta name="apple-mobile-web-app-status-bar-style" content="black"><meta name="application-name" content="MHuiG Magicland"><meta name="msapplication-TileColor" content="#87ceeb"><meta name="msapplication-TileImage" content="/lib/favicon/mstile-144x144.png"><meta name="theme-color" content="#87ceeb" media="(prefers-color-scheme: light)"><meta name="theme-color" content="#21232f" media="(prefers-color-scheme: dark)"><link href="/opensearch.xml" rel="search" title="MHuiG Magicland" type="application/opensearchdescription+xml"><link rel="sitemap" type="application/xml" title="MHuiG Blog Site Map" href="https://blog.mhuig.top/sitemap.xml"><link rel="author" href="https://mhuig.top"><meta name="author" content="MHuiG"><meta name="creator" content="MHuiG"><link rel="archives" href="https://blog.mhuig.top/archives/"><link rel="preload" href="/css/style.css" as="style"><link rel="preload" href="https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/fonts/VarelaRound/VarelaRound-Regular.ttf" as="font" type="font/ttf" crossorigin="anonymous"><link rel="preload" href="https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/fonts/VarelaRound/VarelaRound-Regular.ttf" as="font" type="font/ttf" crossorigin="anonymous"><link rel="alternate" href="/atom.xml" title="Magicland" type="application/atom+xml"><link rel="alternate" href="/rss2.xml" title="Magicland" type="application/rss+xml"><title>Zeta Archive: 玻尔兹曼机：从统计物理到深度学习的跨学科桥梁 - Magicland</title><meta name="keywords" content="数学,Zeta, Math,玻尔兹曼机,受限玻尔兹曼机,对比散度,MHuiG, @MHuiG, Blog, 博客, Magicland, 魔法世界"><meta desc="" name="description" content="玻尔兹曼机是基于统计物理中玻尔兹曼分布和伊辛模型的随机神经网络模型。它通过能量函数定义状态概率，为深度学习中的无监督学习和生成式建模提供了理论基础。尽管其训练存在挑战，但其简化版本和衍生算法在特征学习、协同过滤等领域具有重要应用价值。 - MHuiG - Magicland"><meta property="og:type" content="website"><meta property="og:title" content="Magicland"><meta property="og:url" content="https://blog.mhuig.top/notes/Zeta/144"><meta property="og:site_name" content="Magicland"><meta property="og:description" content="玻尔兹曼机是基于统计物理中玻尔兹曼分布和伊辛模型的随机神经网络模型。它通过能量函数定义状态概率，为深度学习中的无监督学习和生成式建模提供了理论基础。尽管其训练存在挑战，但其简化版本和衍生算法在特征学习、协同过滤等领域具有重要应用价值。"><meta property="og:locale"><meta property="og:image" content="https://blog.mhuig.top/lib/favicon/android-chrome-192x192.png"><meta property="article:published_time" content="2026-05-05T00:07:00.000Z"><meta property="article:modified_time" content="2026-05-05T00:10:00.000Z"><meta property="article:author" content="MHuiG"><meta property="article:tag" content="Math"><meta property="article:tag" content="受限玻尔兹曼机"><meta property="article:tag" content="对比散度"><meta property="article:tag" content="玻尔兹曼机"><meta name="twitter:card" content="summary"><meta name="twitter:image" content="https://blog.mhuig.top/lib/favicon/android-chrome-192x192.png"><meta name="twitter:creator" content="@iMHuiG"><meta name="twitter:site" content="@iMHuiG"><style>#safearea{display:none}.post-story+.post-story{content-visibility:auto;contain-intrinsic-size:10px 500px}:root{--color-site-body:#87ceeb;--color-site-bg:#87ceeb;--color-site-inner:#555;--color-site-footer:#666;--color-card:#fff;--color-text:#444;--color-block:#f6f6f6;--color-inlinecode:#d56d28;--color-codeblock:#fff7ea;--color-h1:#3a3a3a;--color-h2:#3a3a3a;--color-h3:#333;--color-h4:#444;--color-h5:#555;--color-h6:#666;--color-p:#444;--color-list:#666;--color-list-hl:#1a78c2;--color-meta:#888;--color-read-bkg:#e0d8c8;--color-read-post:#f8f1e2;--color-copyright-bkg:#f5f5f5}*{box-sizing:border-box;-webkit-box-sizing:border-box;-moz-box-sizing:border-box;outline:0;margin:0;padding:0}::-webkit-scrollbar{height:4px;width:4px}::-webkit-scrollbar-track-piece{background:0 0}::-webkit-scrollbar-thumb{background:#2196f3;cursor:pointer;border-radius:2px;-webkit-border-radius:2px}::-webkit-scrollbar-thumb:hover{background:#ff5722}html{color:var(--color-text);width:100%;height:100%;font-family:"Varela Round","PingFang SC","Microsoft YaHei",Helvetica,Arial,Menlo,Monaco,monospace,sans-serif;font-size:16px}html>::-webkit-scrollbar{height:4px;width:4px}html>::-webkit-scrollbar-track-piece{background:0 0}html>::-webkit-scrollbar-thumb{background:#2196f3;cursor:pointer;border-radius:2px;-webkit-border-radius:2px}html>::-webkit-scrollbar-thumb:hover{background:#ff5722}body{background-color:var(--color-site-body);text-rendering:optimizelegibility;-webkit-tap-highlight-color:transparent;line-height:1.6;-webkit-text-size-adjust:100%;-ms-text-size-adjust:100%}body.modal-active{overflow:hidden}@media screen and (max-width:680px){body.modal-active{position:fixed;top:0;right:0;bottom:0;left:0}}a{color:#2196f3;cursor:pointer;text-decoration:none;transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}a:hover{color:#ff5722}a:active,a:hover{outline:0}ol,ul{padding-left:0}ol li,ul li{list-style:none}header{display:-webkit-box;display:-moz-box;display:block}img{border:0;background:0 0;max-width:100%}svg:not(:root){overflow:hidden}hr{-moz-box-sizing:content-box;box-sizing:content-box;-webkit-box-sizing:content-box;-moz-box-sizing:content-box;height:0;border:0;border-radius:1px;-webkit-border-radius:1px;border-bottom:1px solid rgba(68,68,68,.1)}button,input{color:inherit;font:inherit;margin:0}button{overflow:visible;text-transform:none;-webkit-appearance:button;cursor:pointer}@supports (backdrop-filter:blur(20px)){.blur{background:rgba(255,255,255,.9)!important;backdrop-filter:saturate(200%) blur(20px)}}.shadow{box-shadow:0 1px 2px 0 rgba(0,0,0,.1);-webkit-box-shadow:0 1px 2px 0 rgba(0,0,0,.1)}.shadow.floatable{transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}.shadow.floatable:hover{box-shadow:0 2px 4px 0 rgba(0,0,0,.1),0 4px 8px 0 rgba(0,0,0,.1),0 8px 16px 0 rgba(0,0,0,.1);-webkit-box-shadow:0 2px 4px 0 rgba(0,0,0,.1),0 4px 8px 0 rgba(0,0,0,.1),0 8px 16px 0 rgba(0,0,0,.1)}#l_cover{min-height:64px}.cover-wrapper{top:0;left:0;max-width:100%;height:100vh;display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;flex-wrap:nowrap;-webkit-flex-wrap:nowrap;-khtml-flex-wrap:nowrap;-moz-flex-wrap:nowrap;-o-flex-wrap:nowrap;-ms-flex-wrap:nowrap;-webkit-box-direction:normal;-moz-box-direction:normal;-webkit-box-orient:vertical;-moz-box-orient:vertical;-webkit-flex-direction:column;-ms-flex-direction:column;flex-direction:column;align-items:center;align-self:center;align-content:center;color:var(--color-site-inner);padding:0 16px;user-select:none;-webkit-user-select:none;-moz-user-select:none;-ms-user-select:none;position:relative;overflow:hidden;margin-bottom:-100px}.cover-wrapper .cover-bg{position:absolute;width:100%;height:100%;background-position:center;background-size:cover;-webkit-background-size:cover;-moz-background-size:cover}.cover-wrapper .cover-bg.lazyload:not(.loaded){opacity:0;-webkit-opacity:0;-moz-opacity:0}.cover-wrapper .cover-bg.lazyload.loaded{animation-delay:0s;animation-duration:.5s;animation-fill-mode:forwards;animation-timing-function:ease-out;animation-name:fadeIn}@-moz-keyframes fadeIn{0%{opacity:0;-webkit-opacity:0;-moz-opacity:0;filter:blur(12px);transform:scale(1.02);-webkit-transform:scale(1.02);-khtml-transform:scale(1.02);-moz-transform:scale(1.02);-o-transform:scale(1.02);-ms-transform:scale(1.02)}100%{opacity:1;-webkit-opacity:1;-moz-opacity:1}}@-webkit-keyframes fadeIn{0%{opacity:0;-webkit-opacity:0;-moz-opacity:0;filter:blur(12px);transform:scale(1.02);-webkit-transform:scale(1.02);-khtml-transform:scale(1.02);-moz-transform:scale(1.02);-o-transform:scale(1.02);-ms-transform:scale(1.02)}100%{opacity:1;-webkit-opacity:1;-moz-opacity:1}}@-o-keyframes fadeIn{0%{opacity:0;-webkit-opacity:0;-moz-opacity:0;filter:blur(12px);transform:scale(1.02);-webkit-transform:scale(1.02);-khtml-transform:scale(1.02);-moz-transform:scale(1.02);-o-transform:scale(1.02);-ms-transform:scale(1.02)}100%{opacity:1;-webkit-opacity:1;-moz-opacity:1}}@keyframes fadeIn{0%{opacity:0;-webkit-opacity:0;-moz-opacity:0;filter:blur(12px);transform:scale(1.02);-webkit-transform:scale(1.02);-khtml-transform:scale(1.02);-moz-transform:scale(1.02);-o-transform:scale(1.02);-ms-transform:scale(1.02)}100%{opacity:1;-webkit-opacity:1;-moz-opacity:1}}.cover-wrapper .cover-body{z-index:1;position:relative;width:100%;height:100%}.cover-wrapper#full{height:calc(100vh + 100px);padding-bottom:100px}.cover-wrapper#half{max-height:640px;min-height:400px;height:calc(36vh - 64px + 200px)}.cover-wrapper #scroll-down{width:100%;height:64px;position:absolute;bottom:100px;text-align:center;cursor:pointer}.cover-wrapper #scroll-down .scroll-down-effects{color:#fff;font-size:24px;line-height:64px;position:absolute;width:24px;left:calc(50% - 12px);text-shadow:0 1px 2px rgba(0,0,0,.1);animation:scroll-down-effect 1.5s infinite;-webkit-animation:scroll-down-effect 1.5s infinite;-khtml-animation:scroll-down-effect 1.5s infinite;-moz-animation:scroll-down-effect 1.5s infinite;-o-animation:scroll-down-effect 1.5s infinite;-ms-animation:scroll-down-effect 1.5s infinite}@-moz-keyframes scroll-down-effect{0%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}50%{top:-16px;opacity:.4;-webkit-opacity:0.4;-moz-opacity:0.4}100%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}}@-webkit-keyframes scroll-down-effect{0%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}50%{top:-16px;opacity:.4;-webkit-opacity:0.4;-moz-opacity:0.4}100%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}}@-o-keyframes scroll-down-effect{0%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}50%{top:-16px;opacity:.4;-webkit-opacity:0.4;-moz-opacity:0.4}100%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}}@keyframes scroll-down-effect{0%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}50%{top:-16px;opacity:.4;-webkit-opacity:0.4;-moz-opacity:0.4}100%{top:0;opacity:1;-webkit-opacity:1;-moz-opacity:1}}.cover-wrapper .cover-body{margin-top:64px;margin-bottom:100px}.cover-wrapper .cover-body,.cover-wrapper .cover-body .bottom,.cover-wrapper .cover-body .top{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;-webkit-box-direction:normal;-moz-box-direction:normal;-webkit-box-orient:vertical;-moz-box-orient:vertical;-webkit-flex-direction:column;-ms-flex-direction:column;flex-direction:column;align-items:center;justify-content:center;-webkit-justify-content:center;-khtml-justify-content:center;-moz-justify-content:center;-o-justify-content:center;-ms-justify-content:center;max-width:100%}.cover-wrapper .cover-body .bottom{margin-top:32px}.cover-wrapper .cover-body .title{font-family:"Varela Round","PingFang SC","Microsoft YaHei",Helvetica,Arial,Helvetica,monospace;font-size:3.125rem;line-height:1.2;text-shadow:0 1px 2px rgba(0,0,0,.1)}.cover-wrapper .cover-body .subtitle{font-size:20px}.cover-wrapper .cover-body .logo{max-height:120px;max-width:calc(100% - 4 * 16px)}@media screen and (min-height:1024px){.cover-wrapper .cover-body .title{font-size:3rem}.cover-wrapper .cover-body .subtitle{font-size:1.05rem}.cover-wrapper .cover-body .logo{max-height:150px}}.cover-wrapper .cover-body .m_search{position:relative;max-width:calc(100% - 16px);width:320px;vertical-align:middle}.cover-wrapper .cover-body .m_search .form{position:relative;display:-webkit-box;display:-moz-box;display:block;width:100%}.cover-wrapper .cover-body .m_search .icon,.cover-wrapper .cover-body .m_search .input{transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}.cover-wrapper .cover-body .m_search .icon{position:absolute;display:-webkit-box;display:-moz-box;display:block;line-height:2.5rem;width:32px;top:0;left:5px;color:rgba(68,68,68,.75)}.cover-wrapper .cover-body .m_search .input{display:-webkit-box;display:-moz-box;display:block;height:2.5rem;width:100%;box-shadow:none;-webkit-box-shadow:none;box-sizing:border-box;-webkit-box-sizing:border-box;-moz-box-sizing:border-box;font-size:.875rem;-webkit-appearance:none;padding-left:36px;border-radius:1.4rem;-webkit-border-radius:1.4rem;background:rgba(255,255,255,.6);backdrop-filter:blur(10px);border:none;color:var(--color-text)}@media screen and (max-width:500px){.cover-wrapper .cover-body .m_search .input{padding-left:36px}}.cover-wrapper .cover-body .m_search .input:hover{background:rgba(255,255,255,.8)}.cover-wrapper .cover-body .m_search .input:focus{background:#fff}.cover-wrapper .list-h{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;-webkit-box-direction:normal;-moz-box-direction:normal;-webkit-box-orient:horizontal;-moz-box-orient:horizontal;-webkit-flex-direction:row;-ms-flex-direction:row;flex-direction:row;flex-wrap:wrap;-webkit-flex-wrap:wrap;-khtml-flex-wrap:wrap;-moz-flex-wrap:wrap;-o-flex-wrap:wrap;-ms-flex-wrap:wrap;align-items:stretch;border-radius:4px;-webkit-border-radius:4px;user-select:none;-webkit-user-select:none;-moz-user-select:none;-ms-user-select:none}.cover-wrapper .list-h a{-webkit-box-flex:1;-moz-box-flex:1;-webkit-flex:1 0;-ms-flex:1 0;flex:1 0;display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;font-weight:600}.cover-wrapper .list-h a img{display:-webkit-box;display:-moz-box;display:block;border-radius:2px;-webkit-border-radius:2px;margin:4px;min-width:40px;max-width:44px}@media screen and (max-width:768px){.cover-wrapper .list-h a img{min-width:36px;max-width:40px}}@media screen and (max-width:500px){.cover-wrapper .list-h a img{margin:2px 4px;min-width:32px;max-width:36px}}@media screen and (max-width:375px){.cover-wrapper .list-h a img{min-width:28px;max-width:32px}}.cover-wrapper{max-width:100%}.cover-wrapper.search .bottom .menu{margin-top:16px}.cover-wrapper.search .bottom .menu .list-h a{white-space:nowrap;-webkit-box-direction:normal;-moz-box-direction:normal;-webkit-box-orient:horizontal;-moz-box-orient:horizontal;-webkit-flex-direction:row;-ms-flex-direction:row;flex-direction:row;align-items:baseline;padding:2px;margin:4px;color:var(--color-site-inner);opacity:.75;-webkit-opacity:0.75;-moz-opacity:0.75;text-shadow:0 1px 2px rgba(0,0,0,.05);border-bottom:2px solid transparent}.cover-wrapper.search .bottom .menu .list-h a i{margin-right:4px}.cover-wrapper.search .bottom .menu .list-h a p{font-size:.9375rem}.cover-wrapper.search .bottom .menu .list-h a.active,.cover-wrapper.search .bottom .menu .list-h a:active,.cover-wrapper.search .bottom .menu .list-h a:hover{opacity:1;-webkit-opacity:1;-moz-opacity:1;border-bottom:2px solid var(--color-site-inner)}.cover-wrapper.dock .menu,.cover-wrapper.featured .menu,.cover-wrapper.focus .menu{border-radius:6px;-webkit-border-radius:6px}.cover-wrapper.dock .menu .list-h a,.cover-wrapper.featured .menu .list-h a,.cover-wrapper.focus .menu .list-h a{-webkit-box-direction:normal;-moz-box-direction:normal;-webkit-box-orient:vertical;-moz-box-orient:vertical;-webkit-flex-direction:column;-ms-flex-direction:column;flex-direction:column;align-items:center;padding:12px;line-height:24px;border-radius:4px;-webkit-border-radius:4px;border-bottom:none;text-align:center;align-content:flex-end;color:rgba(68,68,68,.7);font-size:1.5rem}@media screen and (max-width:500px){.cover-wrapper.dock .menu .list-h a,.cover-wrapper.featured .menu .list-h a,.cover-wrapper.focus .menu .list-h a{padding:12px 8px}}.cover-wrapper.dock .menu .list-h a i,.cover-wrapper.featured .menu .list-h a i,.cover-wrapper.focus .menu .list-h a i{margin:8px}.cover-wrapper.dock .menu .list-h a p,.cover-wrapper.featured .menu .list-h a p,.cover-wrapper.focus .menu .list-h a p{font-size:.875rem}.cover-wrapper.dock .menu .list-h a.active,.cover-wrapper.featured .menu .list-h a.active,.cover-wrapper.focus .menu .list-h a.active{background:var(--color-card);backdrop-filter:none}.cover-wrapper.dock .menu .list-h a.active i,.cover-wrapper.dock .menu .list-h a.active i+p,.cover-wrapper.featured .menu .list-h a.active i,.cover-wrapper.featured .menu .list-h a.active i+p,.cover-wrapper.focus .menu .list-h a.active i,.cover-wrapper.focus .menu .list-h a.active i+p{color:#2196f3}.cover-wrapper.dock .menu .list-h a.active img+p,.cover-wrapper.featured .menu .list-h a.active img+p,.cover-wrapper.focus .menu .list-h a.active img+p{color:var(--color-text)}.cover-wrapper.dock .menu .list-h a:hover,.cover-wrapper.featured .menu .list-h a:hover,.cover-wrapper.focus .menu .list-h a:hover{background:var(--color-card)}.cover-wrapper.featured .menu .list-h{margin:-2px}.cover-wrapper.featured .menu .list-h a{margin:2px;background:rgba(255,255,255,.5)}@supports (backdrop-filter:blur(20px)){.cover-wrapper.featured .menu .list-h a{background:rgba(255,255,255,.5);backdrop-filter:saturate(200%) blur(20px)}}@media (prefers-color-scheme:dark){:root{--color-mode:'dark'}:root:not([color-scheme]){--color-site-body:#121212;--color-read-bkg:#21232f;--color-read-post:#252d38;--color-site-bg:#21232f;--color-site-inner:#efefef;--color-site-footer:#666;--color-card:#252d38;--color-text:rgba(238,238,238,0.871);--color-block:rgba(68,68,68,0.65);--color-codeblock:#444;--color-inlinecode:#d56d28;--color-h1:rgba(255,255,255,0.871);--color-h2:rgba(255,255,255,0.871);--color-h3:rgba(255,255,255,0.6);--color-h4:rgba(255,255,255,0.6);--color-h5:rgba(255,255,255,0.6);--color-h6:rgba(255,255,255,0.6);--color-p:rgba(217,217,217,0.871);--color-list:rgba(217,217,217,0.871);--color-list-hl:#4dabf5;--color-meta:rgba(191,191,191,0.871);--color-link:rgba(191,191,191,0.871);--color-copyright-bkg:#21252b}:root:not([color-scheme]) img{filter:brightness(70%)!important}:root:not([color-scheme]) .blur{background:rgba(33,35,47,.9)!important}:root:not([color-scheme]) .white-box.blur{background:rgba(37,45,56,.9)!important}:root:not([color-scheme]) .nav-main .u-search-input{background:var(--color-card)!important}:root:not([color-scheme]) #l_main .article .prev-next>a{background:var(--color-block)!important}:root:not([color-scheme]) #l_main .article .prev-next>a:hover{background:var(--color-site-bg)!important}:root:not([color-scheme]) .article blockquote{background:var(--color-block)!important}:root:not([color-scheme]) .article-title a{color:var(--color-h1)!important}:root:not([color-scheme]) details>summary{color:var(--color-p)!important;background:var(--color-site-bg)!important}:root:not([color-scheme]) details{border:1px solid var(--color-site-bg)!important;background:var(--color-site-bg)!important}:root:not([color-scheme]) #u-search .modal,:root:not([color-scheme]) #u-search .modal-body,:root:not([color-scheme]) #u-search .modal-header{background:var(--color-card)!important}:root:not([color-scheme]) #u-search .modal-body .modal-results .result:hover{background:var(--color-block)!important}:root:not([color-scheme]) .u-search-input:hover{background:var(--color-block)!important}:root:not([color-scheme]) .u-search-input:focus{background:var(--color-site-body)!important}}[color-scheme=dark]{--color-site-body:#121212;--color-read-bkg:#21232f;--color-read-post:#252d38;--color-site-bg:#21232f;--color-site-inner:#efefef;--color-site-footer:#666;--color-card:#252d38;--color-text:rgba(238,238,238,0.871);--color-block:rgba(68,68,68,0.65);--color-codeblock:#444;--color-inlinecode:#d56d28;--color-h1:rgba(255,255,255,0.871);--color-h2:rgba(255,255,255,0.871);--color-h3:rgba(255,255,255,0.6);--color-h4:rgba(255,255,255,0.6);--color-h5:rgba(255,255,255,0.6);--color-h6:rgba(255,255,255,0.6);--color-p:rgba(217,217,217,0.871);--color-list:rgba(217,217,217,0.871);--color-list-hl:#4dabf5;--color-meta:rgba(191,191,191,0.871);--color-link:rgba(191,191,191,0.871);--color-copyright-bkg:#21252b}[color-scheme=dark] img{filter:brightness(70%)!important}[color-scheme=dark] .blur{background:rgba(33,35,47,.9)!important}[color-scheme=dark] .white-box.blur{background:rgba(37,45,56,.9)!important}[color-scheme=dark] .nav-main .u-search-input{background:var(--color-card)!important}[color-scheme=dark] #l_main .article .prev-next>a{background:var(--color-block)!important}[color-scheme=dark] #l_main .article .prev-next>a:hover{background:var(--color-site-bg)!important}[color-scheme=dark] .article blockquote{background:var(--color-block)!important}[color-scheme=dark] .article-title a{color:var(--color-h1)!important}[color-scheme=dark] details>summary{color:var(--color-p)!important;background:var(--color-site-bg)!important}[color-scheme=dark] details{border:1px solid var(--color-site-bg)!important;background:var(--color-site-bg)!important}[color-scheme=dark] #u-search .modal,[color-scheme=dark] #u-search .modal-body,[color-scheme=dark] #u-search .modal-header{background:var(--color-card)!important}[color-scheme=dark] #u-search .modal-body .modal-results .result:hover{background:var(--color-block)!important}[color-scheme=dark] .u-search-input:hover{background:var(--color-block)!important}[color-scheme=dark] .u-search-input:focus{background:var(--color-site-body)!important}@media screen and (max-width:500px){[color-scheme=dark] .l_header .m_search{background:var(--color-site-bg)!important}}@font-face{font-family:'Varela Round';src:url("https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/fonts/VarelaRound/VarelaRound-Regular.ttf");font-weight:'normal';font-style:'normal';font-display:swap}@font-face{font-family:'Varela Round';src:url("https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/fonts/VarelaRound/VarelaRound-Regular.ttf");font-weight:'normal';font-style:'normal';font-display:swap}.l_header{position:fixed;z-index:1000;top:0;width:100%;height:64px;background:var(--color-card);box-shadow:0 1px 2px 0 rgba(0,0,0,.1);-webkit-box-shadow:0 1px 2px 0 rgba(0,0,0,.1)}.l_header.auto{transition:opacity .4s ease;-webkit-transition:opacity .4s ease;-khtml-transition:opacity 0.4s ease;-moz-transition:opacity .4s ease;-o-transition:opacity .4s ease;-ms-transition:opacity .4s ease;visibility:hidden}.l_header.auto.show{opacity:1!important;-webkit-opacity:1!important;-moz-opacity:1!important;visibility:visible}.l_header .container{margin-left:16px;margin-right:16px}.l_header #wrapper{height:100%;user-select:none;-webkit-user-select:none;-moz-user-select:none;-ms-user-select:none}.l_header #wrapper .nav-main,.l_header #wrapper .nav-sub{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;flex-wrap:nowrap;-webkit-flex-wrap:nowrap;-khtml-flex-wrap:nowrap;-moz-flex-wrap:nowrap;-o-flex-wrap:nowrap;-ms-flex-wrap:nowrap;justify-content:space-between;-webkit-justify-content:space-between;-khtml-justify-content:space-between;-moz-justify-content:space-between;-o-justify-content:space-between;-ms-justify-content:space-between;align-items:center}.l_header #wrapper .nav-main{transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}.l_header #wrapper.sub .nav-main{transform:translateY(-64px);-webkit-transform:translateY(-64px);-khtml-transform:translateY(-64px);-moz-transform:translateY(-64px);-o-transform:translateY(-64px);-ms-transform:translateY(-64px)}.l_header #wrapper .nav-sub{transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease;opacity:0;-webkit-opacity:0;-moz-opacity:0;height:64px;width:calc(100% - 2 * 16px);position:absolute}.l_header #wrapper .nav-sub ::-webkit-scrollbar{display:-webkit-box;display:-moz-box;display:none}@media screen and (min-width:2048px){.l_header #wrapper .nav-sub{max-width:55vw;margin:auto}}.l_header #wrapper.sub .nav-sub{opacity:1;-webkit-opacity:1;-moz-opacity:1}.l_header #wrapper .title{position:relative;color:var(--color-text);padding-left:24px;max-height:64px}.l_header #wrapper .nav-main .title{white-space:nowrap;overflow:hidden;text-overflow:ellipsis;flex-shrink:0;line-height:64px;padding:0 24px;font-size:1.25rem;font-family:"Varela Round","PingFang SC","Microsoft YaHei",Helvetica,Arial,Helvetica,monospace}.l_header #wrapper .nav-main .title img{height:64px}.l_header .nav-sub{max-width:1080px;margin:auto}.l_header .nav-sub .title{font-weight:700;font-family:"Varela Round","PingFang SC","Microsoft YaHei",Helvetica,Arial,Menlo,Monaco,monospace,sans-serif;line-height:1.2;max-height:64px;white-space:normal;flex-shrink:1}.l_header .switcher{display:-webkit-box;display:-moz-box;display:none;line-height:64px;align-items:center}.l_header .switcher .s-toc{display:-webkit-box;display:-moz-box;display:none}@media screen and (max-width:768px){.l_header .switcher .s-toc{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex}}.l_header .switcher>li{height:48px;transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease;margin:2px}@media screen and (max-width:500px){.l_header .switcher>li{margin:0 1px;height:48px}}.l_header .switcher>li>a{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;justify-content:center;-webkit-justify-content:center;-khtml-justify-content:center;-moz-justify-content:center;-o-justify-content:center;-ms-justify-content:center;align-items:center;width:48px;height:48px;padding:.85em 1.1em;border-radius:100px;-webkit-border-radius:100px;border:none;transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease;color:#2196f3}.l_header .switcher>li>a:hover{border:none}.l_header .switcher>li>a.active,.l_header .switcher>li>a:active{border:none;background:var(--color-site-bg)}@media screen and (max-width:500px){.l_header .switcher>li>a{width:36px;height:48px}}.l_header .nav-sub .switcher{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex}.l_header .m_search{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;height:64px;width:240px;transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}@media screen and (max-width:1024px){.l_header .m_search{width:44px;min-width:44px}.l_header .m_search input::placeholder{opacity:0;-webkit-opacity:0;-moz-opacity:0}.l_header .m_search:hover{width:240px}.l_header .m_search:hover input::placeholder{opacity:1;-webkit-opacity:1;-moz-opacity:1}}@media screen and (min-width:500px){.l_header .m_search:hover .input{width:100%}.l_header .m_search:hover .input::placeholder{opacity:1;-webkit-opacity:1;-moz-opacity:1}}@media screen and (max-width:500px){.l_header .m_search{min-width:0}.l_header .m_search input::placeholder{opacity:1;-webkit-opacity:1;-moz-opacity:1}}.l_header .m_search .form{position:relative;display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;width:100%;align-items:center}.l_header .m_search .icon{position:absolute;width:36px;left:5px;color:var(--color-meta)}@media screen and (max-width:500px){.l_header .m_search .icon{display:-webkit-box;display:-moz-box;display:none}}.l_header .m_search .input{display:-webkit-box;display:-moz-box;display:block;padding-top:8px;padding-bottom:8px;line-height:1.3;width:100%;color:var(--color-text);background:#fafafa;box-shadow:none;-webkit-box-shadow:none;box-sizing:border-box;-webkit-box-sizing:border-box;-moz-box-sizing:border-box;padding-left:40px;font-size:.875rem;border-radius:8px;-webkit-border-radius:8px;border:none;transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}@media screen and (min-width:500px){.l_header .m_search .input:focus{box-shadow:0 4px 8px 0 rgba(0,0,0,.1);-webkit-box-shadow:0 4px 8px 0 rgba(0,0,0,.1)}}@media screen and (max-width:500px){.l_header .m_search .input{background:var(--color-block);padding-left:8px;border:none}.l_header .m_search .input:focus,.l_header .m_search .input:hover{border:none}}@media (max-width:500px){.l_header .m_search{left:0;width:0;overflow:hidden;position:absolute;background:#fff;transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}.l_header .m_search .input{border-radius:32px;-webkit-border-radius:32px;margin-left:16px;padding-left:16px}.l_header.z_search-open .m_search{width:100%}.l_header.z_search-open .m_search .input{width:calc(100% - 120px)}}ul.m-pc>li>a{color:inherit;border-bottom:2px solid transparent}ul.m-pc>li>a.active,ul.m-pc>li>a:active{border-bottom:2px solid #2196f3}ul.list-v li:hover>ul.list-v,ul.m-pc li:hover>ul.list-v{display:-webkit-box;display:-moz-box;display:block}ul.nav-list-h{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;align-items:stretch}ul.nav-list-h>li{position:relative;justify-content:center;-webkit-justify-content:center;-khtml-justify-content:center;-moz-justify-content:center;-o-justify-content:center;-ms-justify-content:center;height:100%;line-height:2.4;border-radius:4px;-webkit-border-radius:4px}ul.nav-list-h>li>a{-webkit-font-smoothing:antialiased;-moz-osx-font-smoothing:grayscale;font-weight:600}ul.list-v{z-index:1;display:-webkit-box;display:-moz-box;display:none;position:absolute;background:var(--color-card);box-shadow:0 2px 4px 0 rgba(0,0,0,.08),0 4px 8px 0 rgba(0,0,0,.08),0 8px 16px 0 rgba(0,0,0,.08);-webkit-box-shadow:0 2px 4px 0 rgba(0,0,0,.08),0 4px 8px 0 rgba(0,0,0,.08),0 8px 16px 0 rgba(0,0,0,.08);margin-top:-6px;border-radius:4px;-webkit-border-radius:4px;padding:8px 0}ul.list-v.show{display:-webkit-box;display:-moz-box;display:block}ul.list-v hr{margin-top:8px;margin-bottom:8px}ul.list-v>li{white-space:nowrap;word-break:keep-all}ul.list-v>li.header{font-size:.78125rem;font-weight:700;line-height:2em;color:var(--color-meta);margin:8px 16px 4px}ul.list-v>li.header i{margin-right:8px}ul.list-v>li ul{margin-left:0;display:-webkit-box;display:-moz-box;display:none;margin-top:-40px}ul.list-v .aplayer-container{min-height:64px;padding:6px 16px}ul.list-v>li>a{transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease;display:-webkit-box;display:-moz-box;display:block;color:var(--color-list);font-size:.875rem;font-weight:700;line-height:36px;padding:0 20px 0 16px;text-overflow:ellipsis;margin:0 4px;border-radius:4px;-webkit-border-radius:4px}@media screen and (max-width:1024px){ul.list-v>li>a{line-height:40px}}ul.list-v>li>a>i{margin-right:8px}ul.list-v>li>a.active,ul.list-v>li>a:active{color:var(--color-list-hl)}ul.list-v>li>a:hover{color:var(--color-list-hl);background:var(--color-site-bg)}.l_header .menu>ul>li>a{display:-webkit-box;display:-moz-box;display:block;padding:0 8px}.l_header .menu>ul>li>a>i{margin-right:4px}.l_header ul.nav-list-h>li{color:var(--color-list);line-height:64px}.l_header ul.nav-list-h>li>a{max-height:64px;overflow:hidden;color:inherit}.l_header ul.nav-list-h>li>a.active,.l_header ul.nav-list-h>li>a:active{color:#2196f3}.l_header ul.nav-list-h>li:hover>a{color:var(--color-list-hl)}.l_header ul.nav-list-h>li i.music{animation:rotate-effect 1.5s linear infinite;-webkit-animation:rotate-effect 1.5s linear infinite;-khtml-animation:rotate-effect 1.5s linear infinite;-moz-animation:rotate-effect 1.5s linear infinite;-o-animation:rotate-effect 1.5s linear infinite;-ms-animation:rotate-effect 1.5s linear infinite}@-moz-keyframes rotate-effect{0%{transform:rotate(0);-webkit-transform:rotate(0);-khtml-transform:rotate(0);-moz-transform:rotate(0);-o-transform:rotate(0);-ms-transform:rotate(0)}25%{transform:rotate(90deg);-webkit-transform:rotate(90deg);-khtml-transform:rotate(90deg);-moz-transform:rotate(90deg);-o-transform:rotate(90deg);-ms-transform:rotate(90deg)}50%{transform:rotate(180deg);-webkit-transform:rotate(180deg);-khtml-transform:rotate(180deg);-moz-transform:rotate(180deg);-o-transform:rotate(180deg);-ms-transform:rotate(180deg)}75%{transform:rotate(270deg);-webkit-transform:rotate(270deg);-khtml-transform:rotate(270deg);-moz-transform:rotate(270deg);-o-transform:rotate(270deg);-ms-transform:rotate(270deg)}100%{transform:rotate(360deg);-webkit-transform:rotate(360deg);-khtml-transform:rotate(360deg);-moz-transform:rotate(360deg);-o-transform:rotate(360deg);-ms-transform:rotate(360deg)}}@-webkit-keyframes rotate-effect{0%{transform:rotate(0);-webkit-transform:rotate(0);-khtml-transform:rotate(0);-moz-transform:rotate(0);-o-transform:rotate(0);-ms-transform:rotate(0)}25%{transform:rotate(90deg);-webkit-transform:rotate(90deg);-khtml-transform:rotate(90deg);-moz-transform:rotate(90deg);-o-transform:rotate(90deg);-ms-transform:rotate(90deg)}50%{transform:rotate(180deg);-webkit-transform:rotate(180deg);-khtml-transform:rotate(180deg);-moz-transform:rotate(180deg);-o-transform:rotate(180deg);-ms-transform:rotate(180deg)}75%{transform:rotate(270deg);-webkit-transform:rotate(270deg);-khtml-transform:rotate(270deg);-moz-transform:rotate(270deg);-o-transform:rotate(270deg);-ms-transform:rotate(270deg)}100%{transform:rotate(360deg);-webkit-transform:rotate(360deg);-khtml-transform:rotate(360deg);-moz-transform:rotate(360deg);-o-transform:rotate(360deg);-ms-transform:rotate(360deg)}}@-o-keyframes rotate-effect{0%{transform:rotate(0);-webkit-transform:rotate(0);-khtml-transform:rotate(0);-moz-transform:rotate(0);-o-transform:rotate(0);-ms-transform:rotate(0)}25%{transform:rotate(90deg);-webkit-transform:rotate(90deg);-khtml-transform:rotate(90deg);-moz-transform:rotate(90deg);-o-transform:rotate(90deg);-ms-transform:rotate(90deg)}50%{transform:rotate(180deg);-webkit-transform:rotate(180deg);-khtml-transform:rotate(180deg);-moz-transform:rotate(180deg);-o-transform:rotate(180deg);-ms-transform:rotate(180deg)}75%{transform:rotate(270deg);-webkit-transform:rotate(270deg);-khtml-transform:rotate(270deg);-moz-transform:rotate(270deg);-o-transform:rotate(270deg);-ms-transform:rotate(270deg)}100%{transform:rotate(360deg);-webkit-transform:rotate(360deg);-khtml-transform:rotate(360deg);-moz-transform:rotate(360deg);-o-transform:rotate(360deg);-ms-transform:rotate(360deg)}}@keyframes rotate-effect{0%{transform:rotate(0);-webkit-transform:rotate(0);-khtml-transform:rotate(0);-moz-transform:rotate(0);-o-transform:rotate(0);-ms-transform:rotate(0)}25%{transform:rotate(90deg);-webkit-transform:rotate(90deg);-khtml-transform:rotate(90deg);-moz-transform:rotate(90deg);-o-transform:rotate(90deg);-ms-transform:rotate(90deg)}50%{transform:rotate(180deg);-webkit-transform:rotate(180deg);-khtml-transform:rotate(180deg);-moz-transform:rotate(180deg);-o-transform:rotate(180deg);-ms-transform:rotate(180deg)}75%{transform:rotate(270deg);-webkit-transform:rotate(270deg);-khtml-transform:rotate(270deg);-moz-transform:rotate(270deg);-o-transform:rotate(270deg);-ms-transform:rotate(270deg)}100%{transform:rotate(360deg);-webkit-transform:rotate(360deg);-khtml-transform:rotate(360deg);-moz-transform:rotate(360deg);-o-transform:rotate(360deg);-ms-transform:rotate(360deg)}}.menu-phone li ul.list-v{right:calc(100% - .5 * 16px)}.menu-phone li ul.list-v ul{right:calc(100% - .5 * 16px)}#wrapper{max-width:1080px;margin:auto}@media screen and (min-width:2048px){#wrapper{max-width:55vw}}#wrapper .menu{-webkit-box-flex:1;-moz-box-flex:1;-webkit-flex:1 1;-ms-flex:1 1;flex:1 1;margin:0 16px 0 0}#wrapper .menu .list-v ul{left:calc(100% - .5 * 16px)}.menu-phone{display:-webkit-box;display:-moz-box;display:none;margin-top:16px;right:8px;transition:all .28s ease;-webkit-transition:all .28s ease;-khtml-transition:all 0.28s ease;-moz-transition:all .28s ease;-o-transition:all .28s ease;-ms-transition:all .28s ease}.menu-phone ul{right:calc(100% - .5 * 16px)}@media screen and (max-width:500px){.menu-phone{display:-webkit-box;display:-moz-box;display:block}}.l_header{max-width:65vw;left:calc((100% - 65vw) * .5);border-bottom-left-radius:8px;border-bottom-right-radius:8px}@media screen and (max-width:2048px){.l_header{max-width:1112px;left:calc((100% - 1112px) * .5)}}@media screen and (max-width:1112px){.l_header{left:0;border-radius:0;-webkit-border-radius:0;max-width:100%}}@media screen and (max-width:500px){.l_header .container{margin-left:0;margin-right:0}.l_header #wrapper .nav-main .title{padding-left:16px;padding-right:16px}.l_header #wrapper .nav-sub{width:100%}.l_header #wrapper .nav-sub .title{overflow-y:scroll;margin-top:2px;padding:8px 16px}.l_header #wrapper .switcher{display:-webkit-box;display:-moz-box;display:-ms-flexbox;display:-webkit-flex;display:flex;display:flex;margin-right:8px}.l_header .menu{display:-webkit-box;display:-moz-box;display:none}}@media screen and (max-width:500px){.list-v li{max-width:270px}}#u-search{display:-webkit-box;display:-moz-box;display:none;position:fixed;top:0;left:0;width:100%;height:100%;padding:60px 20px;z-index:1001}@media screen and (max-width:680px){#u-search{padding:0}}@media screen and (prefers-color-scheme:dark) and (max-width:500px){.l_header .m_search{background:var(--color-site-bg)!important}}.cover-wrapper .cover-body .subtitle{font-size:.875rem}.fa-brands.color-github,.fa-duotone.color-github,.fa-light.color-github,.fa-regular.color-github,.fa-solid.color-github,.fa-thin.color-github,.fa.color-github,.fad.color-github,.fal.color-github,.far.color-github,.fas.color-github,.iziToast>.iziToast-body .iziToast-icon.color-github{color:#000}.fa-brands.color-friends,.fa-duotone.color-friends,.fa-light.color-friends,.fa-regular.color-friends,.fa-solid.color-friends,.fa-thin.color-friends,.fa.color-friends,.fad.color-friends,.fal.color-friends,.far.color-friends,.fas.color-friends,.iziToast>.iziToast-body .iziToast-icon.color-friends{color:#d31ee9}.fa-brands.color-about,.fa-duotone.color-about,.fa-light.color-about,.fa-regular.color-about,.fa-solid.color-about,.fa-thin.color-about,.fa.color-about,.fad.color-about,.fal.color-about,.far.color-about,.fas.color-about,.iziToast>.iziToast-body .iziToast-icon.color-about{color:#0095ff}.fa-brands.color-travellings,.fa-duotone.color-travellings,.fa-light.color-travellings,.fa-regular.color-travellings,.fa-solid.color-travellings,.fa-thin.color-travellings,.fa.color-travellings,.fad.color-travellings,.fal.color-travellings,.far.color-travellings,.fas.color-travellings,.iziToast>.iziToast-body .iziToast-icon.color-travellings{color:#734ae6}mjx-container{padding:0 0!important}mjx-container:not([display=true]){padding:4px 2px 4px 6px!important}mjx-container[jax=SVG]{direction:ltr}mjx-container[jax=SVG]>svg{overflow:visible}mjx-container[jax=SVG][display=true]{display:-webkit-box;display:-moz-box;display:block;text-align:center;margin:1em 0}mjx-container[jax=SVG][justify=left]{text-align:left}mjx-container[jax=SVG][justify=right]{text-align:right}g[data-mml-node=merror]>g{fill:#f00;stroke:#f00}g[data-mml-node=merror]>rect[data-background]{fill:#ff0;stroke:none}g[data-mml-node=mtable]>line[data-line]{stroke-width:70px;fill:none}g[data-mml-node=mtable]>rect[data-frame]{stroke-width:70px;fill:none}g[data-mml-node=mtable]>.mjx-dashed{stroke-dasharray:140}g[data-mml-node=mtable]>.mjx-dotted{stroke-linecap:round;stroke-dasharray:0,140}g[data-mml-node=mtable]>svg{overflow:visible}[jax=SVG] mjx-tool{display:-webkit-box;display:-moz-box;display:inline-block;position:relative;width:0;height:0}[jax=SVG] mjx-tool>mjx-tip{position:absolute;top:0;left:0}mjx-tool>mjx-tip{display:-webkit-box;display:-moz-box;display:inline-block;padding:.2em;border:1px solid #888;font-size:70%;background-color:#f8f8f8;color:#000;box-shadow:2px 2px 5px #aaa;-webkit-box-shadow:2px 2px 5px #aaa}g[data-mml-node=maction][data-toggle]{cursor:pointer}mjx-status{display:-webkit-box;display:-moz-box;display:block;position:fixed;left:1em;bottom:1em;min-width:25%;padding:.2em .4em;border:1px solid #888;font-size:90%;background-color:#f8f8f8;color:#000}foreignObject[data-mjx-xml]{font-family:initial;line-height:normal;overflow:visible}.MathJax path{stroke-width:3}mjx-container[display=true]{overflow:auto hidden}mjx-container[display=true]+br{display:-webkit-box;display:-moz-box;display:none}</style><link rel="stylesheet" href="/css/style.css" media="print" onload='this.media="all",this.onload=null'><noscript><link rel="stylesheet" href="/css/style.css"></noscript><script>let userColorScheme=localStorage.getItem("color-scheme");userColorScheme&&document.documentElement.setAttribute("color-scheme",userColorScheme)</script><script>window.MSInputMethodContext&&document.documentMode&&document.write('<style>html{overflow-x: hidden !important;overflow-y: hidden !important;}.kill-ie{text-align:center;height: 100%;margin-top: 15%;margin-bottom: 5500%;}.kill-t{font-size: 2rem;}.kill-c{font-size: 1.2rem;}#l_header,#l_body{display: none;}</style><div class="kill-ie"><span class="kill-t"><b>抱歉，您的浏览器无法访问本站</b></span><br/><span class="kill-c">微软已经于2016年终止了对 Internet Explorer (IE) 10 及更早版本的支持，<br/>继续使用存在极大的安全隐患，请使用当代主流的浏览器进行访问。</span><br/><a target="_blank" rel="noopener" href="https://blogs.windows.com/windowsexperience/2021/05/19/the-future-of-internet-explorer-on-windows-10-is-in-microsoft-edge/"><strong>了解详情 ></strong></a></div>')</script><noscript><style>html{overflow-x:hidden!important;overflow-y:hidden!important}.kill-noscript{text-align:center;height:100%;margin-top:15%;margin-bottom:5500%}.kill-t{font-size:2rem}.kill-c{font-size:1.2rem}#l_body,#l_header{display:none}</style><div class="kill-noscript"> <span class="kill-t"><b>抱歉，您的浏览器无法访问本站</b></span><br> <span class="kill-c">本页面需要浏览器支持（启用）JavaScript</span><br> <a target="_blank" rel="external nofollow noopener noreferrer" href="https://www.baidu.com/s?wd=启用JavaScript"><strong>了解详情 ></strong></a></div></noscript><script>function volantisEventListener(e,t,n){this.type=e,this.f=t,this.ele=n}function volantisDom(e){return e||(e=document.createElement("div")),this.ele=e,this.ele.find=e=>{let t=this.ele.querySelector(e);if(t)return new volantisDom(t)},this.ele.hasClass=e=>this.ele.className.match(new RegExp("(\\s|^)"+e+"(\\s|$)")),this.ele.addClass=e=>(this.ele.classList.add(e),this.ele),this.ele.removeClass=e=>(this.ele.classList.remove(e),this.ele),this.ele.toggleClass=e=>(this.ele.hasClass(e)?this.ele.removeClass(e):this.ele.addClass(e),this.ele),this.ele.on=(e,t,n=1)=>(this.ele.addEventListener(e,t,!1),n&&volantis.EventListener.list.push(new volantisEventListener(e,t,this.ele)),this.ele),this.ele.click=(e,t)=>(this.ele.on("click",e,t),this.ele),this.ele.scroll=(e,t)=>(this.ele.on("scroll",e,t),this.ele),this.ele.html=e=>(this.ele.innerHTML=e,this.ele),this.ele.hide=e=>(this.ele.style.display="none",this.ele),this.ele.show=e=>(this.ele.style.display="block",this.ele),this.ele}function RunItem(){function e(e,t){this.name=t||volantis.getFunctionHash(e),this.run=()=>{try{e()}catch(e){console.log(e)}}}this.list=[],this.start=()=>{for(var e=0;e<this.list.length;e++)this.list[e].run()},this.push=(t,n,o=!0)=>{if("function"!=typeof t)return;let l=t;o&&(l=()=>{volantis.requestAnimationFrame(t)}),n=n||volantis.getFunctionHash(t);const i=this.list.findIndex((e=>e.name===n));-1===i?this.list.push(new e(l,n)):this.list[i]=new e(l,n)},this.remove=e=>{for(let t=0;t<this.list.length;t++){this.list[t].name==e&&this.list.splice(t,1)}}}function errorImgAvatar(e){e.src="https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/placeholder/avatar/round/3442075.svg",e.onerror=null}function errorImgCover(e){e.src="https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/placeholder/cover/76b86c0226ffd.svg",e.onerror=null}!function(){const e=new WeakMap,t=new Proxy({},{get(n,o){const l=e.get(t);return l?.[o]},set(n,o,l){e.has(t)||e.set(t,Object.create(null));return e.get(t)[o]=l,!0},deleteProperty(n,o){const l=e.get(t);return!(!l||!Object.prototype.hasOwnProperty.call(l,o))&&(delete l[o],0===Object.keys(l).length&&e.delete(t),!0)},ownKeys(n){const o=e.get(t);return o?Object.keys(o):[]},getOwnPropertyDescriptor(n,o){const l=e.get(t);if(l&&Object.prototype.hasOwnProperty.call(l,o))return{value:l[o],writable:!0,enumerable:!0,configurable:!0}}});Object.defineProperty(window,"volantis",{value:t,writable:!0,configurable:!0,enumerable:!0})}(),volantis.debug="false",volantis.dom={},volantis.simpleTextHash=e=>{let t=5381;for(let n=0;n<e.length;n++)t=(t<<5)+t+e.charCodeAt(n),t&=t;return t.toString(16).padStart(8,"0")},volantis.getFunctionHash=e=>{const t=e.toString();return volantis.simpleTextHash(t)},volantis.EventListener={},volantis.EventListener.list=[],volantis.EventListener.remove=()=>{volantis.EventListener.list.forEach((function(e){e.ele.removeEventListener(e.type,e.f,!1)})),volantis.EventListener.list=[]},volantis.dom.$=e=>e?new volantisDom(e):null,volantis.pjax={},volantis.pjax.method={complete:new RunItem,error:new RunItem,send:new RunItem},volantis.pjax=Object.assign(volantis.pjax,{push:volantis.pjax.method.complete.push,error:volantis.pjax.method.error.push,send:volantis.pjax.method.send.push}),volantis.rightmenu={},volantis.rightmenu.method={handle:new RunItem},volantis.rightmenu=Object.assign(volantis.rightmenu,{handle:volantis.rightmenu.method.handle.push}),volantis.dark={},volantis.dark.method={toggle:new RunItem},volantis.dark=Object.assign(volantis.dark,{push:volantis.dark.method.toggle.push}),volantis.js=(e,t)=>new Promise((n=>{setTimeout((function(){var o=document.getElementsByTagName("head")[0]||document.documentElement,l=document.createElement("script");if(l.setAttribute("type","text/javascript"),t)if(JSON.stringify(t))for(let e in t)"onload"==e?l[e]=()=>{t[e](),n()}:(l[e]=t[e],l.onload=n);else l.onload=()=>{t(),n()};else l.onload=n;l.setAttribute("src",e),o.appendChild(l)}))})),volantis.css=e=>new Promise((t=>{setTimeout((function(){var n=document.createElement("link");n.rel="stylesheet",n.href=e,n.onload=t,document.getElementsByTagName("head")[0].appendChild(n)}))})),volantis.import={jQuery:()=>"undefined"==typeof jQuery?volantis.js("https://cdn.bootcdn.net/ajax/libs/jquery/3.6.0/jquery.min.js"):new Promise((e=>{e()}))},volantis.throttle=(e,t=200)=>{let n=0;return function(...o){const l=Date.now();l-n>=t&&(e.apply(this,o),n=l)}},volantis.debounce=(e,t=200)=>{let n=null;return function(){n&&clearTimeout(n),n=setTimeout((()=>{e.apply(this,arguments),n=null}),t)}},volantis.requestAnimationFrame=e=>(window.requestAnimationFrame||(window.requestAnimationFrame=window.requestAnimationFrame||window.mozRequestAnimationFrame||window.webkitRequestAnimationFrame||function(e){return window.setTimeout(e,1e3/60)}),window.requestAnimationFrame(e)),volantis.layoutHelper=(e,t,n)=>{function o(e,t,n){volantis.tempDiv=document.createElement("div"),volantis.tempDiv.innerHTML=t;let o=document.querySelector("#layoutHelper-"+e);o&&(n&&(o.innerHTML=""),o.append(volantis.tempDiv))}n=Object.assign({clean:!1,pjax:!0},n),o(e,t,n.clean),n.pjax&&volantis.pjax.push((()=>{o(e,t,n.clean)}),"layoutHelper-"+e)},volantis.scroll={engine:new RunItem,unengine:new RunItem},volantis.scroll=Object.assign(volantis.scroll,{push:volantis.scroll.engine.push}),volantis.scroll.getScrollTop=()=>{let e;return window.pageYOffset?e=window.pageYOffset:document.compatMode&&"BackCompat"!=document.compatMode?e=document.documentElement.scrollTop:document.body&&(e=document.body.scrollTop),e},volantis.scroll.scrollHeight=function(){return Math.max(document.body.scrollHeight,document.documentElement.scrollHeight)},volantis.scroll.offsetHeight=function(){return Math.min(document.body.offsetHeight,document.documentElement.offsetHeight,document.body.clientHeight,document.documentElement.clientHeight)},volantis.scroll.progress=function(){return volantis.scroll.getScrollTop()/(volantis.scroll.scrollHeight()-volantis.scroll.offsetHeight())},volantis.scroll.handleScrollEvents=()=>{volantis.scroll.lastScrollTop=volantis.scroll.getScrollTop(),volantis.requestAnimationFrame((function e(){const t=volantis.scroll.getScrollTop();volantis.scroll.lastScrollTop!==t?(volantis.scroll.del=t-volantis.scroll.lastScrollTop,volantis.scroll.lastScrollTop=t,volantis.scroll.unengine.list=[],volantis.scroll.engine.start()):volantis.scroll.unengine.start(),volantis.requestAnimationFrame(e)}))},volantis.scroll.handleScrollEvents(),volantis.scroll.ele=null,volantis.scroll.to=(e,t={})=>{e&&(volantis.scroll.ele=e,opt={top:e.getBoundingClientRect().top+document.documentElement.scrollTop,behavior:"smooth"},"top"in t&&(opt.top=t.top),"behavior"in t&&(opt.behavior=t.behavior),"addTop"in t&&(opt.top+=t.addTop),"observerDic"in t||(t.observerDic=100),window.scrollTo(opt),t.observer&&setTimeout((()=>{volantis.scroll.ele==e&&volantis.scroll.unengine.push((()=>{let n=e.getBoundingClientRect().top;n>=-t.observerDic&&n<=t.observerDic||volantis.scroll.to(e,t),volantis.scroll.unengine.remove("unengineObserver")}),"unengineObserver")}),1e3))},volantis.cleanContentVisibility=()=>{document.querySelector(".post-story")&&(console.log("cleanContentVisibility"),document.querySelectorAll(".post-story").forEach((e=>{e.classList.remove("post-story")})))};const nativeSetTimeout=window.setTimeout,nativeSetInterval=window.setInterval,nativeClearTimeout=window.clearTimeout,nativeClearInterval=window.clearInterval;volantis.activeTimeout=[],volantis.activeInterval=[],window.setTimeout=function(e,t,...n){const o=nativeSetTimeout((function(...t){try{return e.apply(this,t)}finally{const e=volantis.activeTimeout.indexOf(o);-1!==e&&volantis.activeTimeout.splice(e,1)}}),t,...n);return volantis.activeTimeout.push(o),o},window.setInterval=function(e,t,...n){const o=nativeSetInterval(e,t,...n);return volantis.activeInterval.push(o),o},window.clearTimeout=function(e){nativeClearTimeout(e);const t=volantis.activeTimeout.indexOf(e);-1!==t&&volantis.activeTimeout.splice(t,1)},window.clearInterval=function(e){nativeClearInterval(e);const t=volantis.activeInterval.indexOf(e);-1!==t&&volantis.activeInterval.splice(t,1)},volantis.getActiveInterval=function(){return[...volantis.activeInterval]},volantis.getActiveTimeout=function(){return[...volantis.activeTimeout]},volantis.clearAllTimers=function(){volantis.getActiveInterval().forEach((function(e){clearInterval(e)})),volantis.getActiveTimeout().forEach((function(e){clearTimeout(e)}))},volantis.pjax.send(volantis.clearAllTimers,"clearAllTimers")</script><script>volantis.GLOBAL_CONFIG={root:"/",debug:!1,default:{avatar:"https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/placeholder/avatar/round/3442075.svg",link:"https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/placeholder/link/8f277b4ee0ecd.svg",cover:"https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/placeholder/cover/76b86c0226ffd.svg",image:"https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/media/placeholder/image/2659360.svg"},lastupdate:new Date(1779510804521),cdn:{izitoast_css:"https://cdn.bootcdn.net/ajax/libs/izitoast/1.4.0/css/iziToast.min.css",izitoast_js:"https://cdn.bootcdn.net/ajax/libs/izitoast/1.4.0/js/iziToast.min.js",fancybox_css:"https://cdn.bootcdn.net/ajax/libs/fancyapps-ui/4.0.31/fancybox.min.css",fancybox_js:"https://cdn.bootcdn.net/ajax/libs/fancyapps-ui/4.0.31/fancybox.umd.min.js"},sidebar:{for_page:["blogger","navigation","webinfo"],for_post:["toc"],webinfo:{lastupd:{enable:!1,friendlyShow:!0},runtime:{data:"2019/08/19",unit:"天"}}},plugins:{message:{enable:!1,icon:{default:"fa-solid fa-info-circle light-blue",quection:"fa-solid fa-question-circle light-blue"},time:{default:5e3,quection:2e4},position:"topRight",transitionIn:"bounceInLeft",transitionOut:"fadeOutRight",titleColor:"var(--color-text)",messageColor:"var(--color-text)",backgroundColor:"var(--color-card)",zindex:2147483647,copyright:{enable:!0,title:"知识共享许可协议",message:"请遵守 CC BY-NC-SA 4.0 协议。",icon:"far fa-copyright light-blue"},aplayer:{enable:!0,play:"fa-solid fa-play",pause:"fa-solid fa-pause"},rightmenu:{enable:!0,notice:!0}},aplayer:{id:1480000098,enable:!0}},search:{dataPath:("/".endsWith("/")?"/":"//")+"content.json"},languages:{search:{hits_empty:"找不到您查询的内容：${query}",hits_stats:"找到 ${hits} 条结果，用时 ${time} 毫秒"}}}</script><script type="application/ld+json">[{"@context":"http://schema.org","@type":"Organization","name":"MHuiG Magicland","url":"https://blog.mhuig.top/","logo":{"@type":"ImageObject","url":"/lib/favicon/android-chrome-192x192.png","width":192,"height":192}},{"@context":"http://schema.org","@type":"Person","name":"MHuiG","image":{"@type":"ImageObject","url":"/lib/favicon/android-chrome-192x192.png"},"url":"https://blog.mhuig.top/","sameAs":["https://github.com/MHuiG","https://twitter.com/iMHuiG","https://t.me/MHuiG","https://keybase.io/MHuiG"],"description":"「Be Yourself, Make a Difference.」"},{"@context":"http://schema.org","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"item":{"@id":"https://blog.mhuig.top/","name":"Magicland"}},{"@type":"ListItem","position":2,"item":{"@id":"https://blog.mhuig.top/categories/数学/","name":"数学"}},{"@type":"ListItem","position":2,"item":{"@id":"https://blog.mhuig.top/categories/数学/Zeta/","name":"Zeta"}},{"@type":"ListItem","position":3,"item":{"@id":"https://blog.mhuig.top/notes/Zeta/144.html","name":"玻尔兹曼机：从统计物理到深度学习的跨学科桥梁"}}]},{"@context":"http://schema.org","@type":"WebSite","name":"MHuiG Magicland","url":"https://blog.mhuig.top/","keywords":"MHuiG, @MHuiG, Blog, 博客, Magicland, 魔法世界","description":"宠辱不惊，看庭前花开花落；去留无意，望天上云卷云舒。「Be Yourself, Make a Difference.」 - Magic Island","author":{"@type":"Person","name":"MHuiG","image":{"@type":"ImageObject","url":"/lib/favicon/android-chrome-192x192.png"},"url":"https://blog.mhuig.top/","description":"「Be Yourself, Make a Difference.」"},"publisher":{"@type":"Organization","name":"MHuiG Magicland","url":"https://blog.mhuig.top/","logo":{"@type":"ImageObject","url":"/lib/favicon/android-chrome-192x192.png","width":192,"height":192}},"potentialAction":{"@type":"SearchAction","name":"Coco | The Cat of MHuiG","target":{"@type":"EntryPoint","urlTemplate":"https://blog.mhuig.top/havefun/Coco/?s={search_term_string}"},"query-input":"required name=search_term_string"}},{"@context":"http://schema.org","@type":"BlogPosting","headline":"玻尔兹曼机：从统计物理到深度学习的跨学科桥梁","description":"玻尔兹曼机是基于统计物理中玻尔兹曼分布和伊辛模型的随机神经网络模型。它通过能量函数定义状态概率，为深度学习中的无监督学习和生成式建模提供了理论基础。尽管其训练存在挑战，但其简化版本和衍生算法在特征学习、协同过滤等领域具有重要应用价值。","inLanguage":"zh-Hans","mainEntityOfPage":{"@type":"WebPage","@id":"https://blog.mhuig.top/notes/Zeta/144"},"author":{"@type":"Person","name":"MHuiG","image":{"@type":"ImageObject","url":"/lib/favicon/android-chrome-192x192.png"},"url":"https://blog.mhuig.top/"},"publisher":{"@type":"Organization","name":"MHuiG Magicland","logo":{"@type":"ImageObject","url":"/lib/favicon/android-chrome-192x192.png","width":192,"height":192}},"url":"https://blog.mhuig.top/notes/Zeta/144","wordCount":0,"datePublished":"2026-05-05T00:07:00.000Z","dateModified":"2026-05-05T00:10:00.000Z","articleSection":"数学","keywords":"Math,玻尔兹曼机,受限玻尔兹曼机,对比散度","image":{"@type":"ImageObject","url":"/lib/favicon/android-chrome-192x192.png","width":192,"height":192}}]</script></head><body itemscope="" itemtype="http://schema.org/WebPage"><pjax></pjax><header itemscope="" itemtype="http://schema.org/WPHeader" id="l_header" class="l_header auto shadow floatable blur show" style="opacity:0"><div class="container"><div id="wrapper"><div class="nav-sub"><p class="title"></p><ul class="switcher nav-list-h m-phone" id="pjax-header-nav-list"><li><a id="s-comment" class="fa-solid fa-comments fa-fw" target="_self" title="comment"></a></li><li><a id="s-toc" class="s-toc fa-solid fa-list fa-fw" target="_self" title="toc"></a></li></ul></div><div class="nav-main"> <a class="title flat-box" target="_self" href="/">MHuiG</a><div class="menu navigation"><ul class="nav-list-h m-pc"><li><a class="menuitem flat-box faa-parent animated-hover" title="索引"><i class="fa-duotone fa-list-alt fa-fw"></i> 索引</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="/notes/" title="便签" active-action="action-notes"><i class="fa-duotone fa-books fa-fw"></i> 便签</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/categories/" title="分类" active-action="action-categories"><i class="fa-duotone fa-folder-open fa-fw"></i> 分类</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/tags/" title="标签" active-action="action-tags"><i class="fa-duotone fa-tags fa-fw"></i> 标签</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/archives/" title="归档" active-action="action-archives"><i class="fa-duotone fa-archive fa-fw"></i> 归档</a></li></ul></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/friends/" title="友链" active-action="action-pagesfriends"><i class="fa-duotone fa-link fa-fw"></i> 友链</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="https://www.travellings.cn/go-by-clouds.html" title="Travelling" target="_blank" active-action="action-https:wwwtravellingscngo-by-cloudshtml" rel="external nofollow noopener noreferrer"><i class="fa-duotone fa-subway fa-fw"></i> Travelling</a></li></ul></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/about/" title="关于" active-action="action-pagesabout"><i class="fa-duotone fa-user-tie fa-fw"></i> 关于</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/time-machine/" title="时光机" active-action="action-pagestime-machine"><i class="fa-duotone fa-clock fa-fw"></i> 时光机</a></li><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="noopener" href="https://mhuig.top/privacy-policy/" title="隐私政策" active-action="action-https:mhuigtopprivacy-policy"><i class="fa-duotone fa-user-secret fa-fw"></i> 隐私政策</a></li></ul></li><li><a class="menuitem flat-box faa-parent animated-hover" title="更多"><i class="fa-duotone fa-fan fa-spin fa-fw"></i> 更多</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/beer/" title="Sponsor" active-action="action-pagesbeer"><i class="fa-duotone fa-heart-square fa-fw"></i> Sponsor</a></li><hr><li><a class="menuitem flat-box faa-parent animated-hover" title="博客管理"><i class="fa-duotone fa-user-shield fa-fw"></i> 博客管理</a><ul class="list-v"><li><a class="menuitem flat-box header toggle-mode-btn"><i class="fa-duotone fa-bat fa-fw"></i> 暗黑模式</a></li><li></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/rss/" title="RSS订阅" active-action="action-pagesrss"><i class="fa-duotone fa-rss fa-fw"></i> RSS订阅</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/sitemap.xml" title="站点地图" active-action="action-sitemapxml"><i class="fa-duotone fa-sitemap fa-fw"></i> 站点地图</a></li><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://mhuig.instatus.com/" title="Monitors" active-action="action-https:mhuiginstatuscom"><i class="fa-duotone fa-telescope fa-fw"></i> Monitors</a></li><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://ssl.mhuig.top/" title="SSL Status" active-action="action-https:sslmhuigtop"><i class="fa-brands fa-expeditedssl fa-fw"></i> SSL Status</a></li></ul></li><hr><li><a class="menuitem flat-box faa-parent animated-hover" title="工具箱"><i class="fa-duotone fa-tools fa-fw"></i> 工具箱</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://rssbox.mhuig.top/" title="RSS Box" active-action="action-https:rssboxmhuigtop"><i class="fa-duotone fa-conveyor-belt-boxes fa-fw"></i> RSS Box</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/havefun/Coco/" title="My Cat" active-action="action-havefunCoco"><i class="fa-duotone fa-cat fa-fw"></i> My Cat</a></li><li><a class="menuitem flat-box"><i class="fa-duotone fa-compact-disc fa-spin fa-fw music"></i> Music</a><ul class="list-v"><li><div class="aplayer-container"><div class="aplayer-local"></div></div></li></ul></li><li></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/talk/" title="碎言碎语" active-action="action-pagestalk"><i class="fa-duotone fa-comments fa-fw"></i> 碎言碎语</a></li></ul></li><hr><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://github.com/MHuiG" title="GitHub" active-action="action-https:githubcomMHuiG"><i class="fa-brands fa-github fa-fw"></i> GitHub</a></li></ul></li></ul></div><div class="m_search"><form name="searchform" class="form u-search-form"><i class="icon fa-solid fa-search fa-fw"></i> <input type="text" class="input u-search-input" placeholder="Search..."></form></div><ul class="switcher nav-list-h m-phone"><li><a class="s-search fa-solid fa-search fa-fw" target="_self" title="search"></a></li><li><a class="s-menu fa-solid fa-bars fa-fw" target="_self" title="menu"></a><ul class="menu-phone list-v navigation white-box"><li><a class="menuitem flat-box faa-parent animated-hover" title="索引"><i class="fa-duotone fa-list-alt fa-fw"></i> 索引</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="/notes/" title="便签" active-action="action-notes"><i class="fa-duotone fa-books fa-fw"></i> 便签</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/categories/" title="分类" active-action="action-categories"><i class="fa-duotone fa-folder-open fa-fw"></i> 分类</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/tags/" title="标签" active-action="action-tags"><i class="fa-duotone fa-tags fa-fw"></i> 标签</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/archives/" title="归档" active-action="action-archives"><i class="fa-duotone fa-archive fa-fw"></i> 归档</a></li></ul></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/friends/" title="友链" active-action="action-pagesfriends"><i class="fa-duotone fa-link fa-fw"></i> 友链</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="https://www.travellings.cn/go-by-clouds.html" title="Travelling" target="_blank" active-action="action-https:wwwtravellingscngo-by-cloudshtml" rel="external nofollow noopener noreferrer"><i class="fa-duotone fa-subway fa-fw"></i> Travelling</a></li></ul></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/about/" title="关于" active-action="action-pagesabout"><i class="fa-duotone fa-user-tie fa-fw"></i> 关于</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/time-machine/" title="时光机" active-action="action-pagestime-machine"><i class="fa-duotone fa-clock fa-fw"></i> 时光机</a></li><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="noopener" href="https://mhuig.top/privacy-policy/" title="隐私政策" active-action="action-https:mhuigtopprivacy-policy"><i class="fa-duotone fa-user-secret fa-fw"></i> 隐私政策</a></li></ul></li><li><a class="menuitem flat-box faa-parent animated-hover" title="更多"><i class="fa-duotone fa-fan fa-spin fa-fw"></i> 更多</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/beer/" title="Sponsor" active-action="action-pagesbeer"><i class="fa-duotone fa-heart-square fa-fw"></i> Sponsor</a></li><hr><li><a class="menuitem flat-box faa-parent animated-hover" title="博客管理"><i class="fa-duotone fa-user-shield fa-fw"></i> 博客管理</a><ul class="list-v"><li><a class="menuitem flat-box header toggle-mode-btn"><i class="fa-duotone fa-bat fa-fw"></i> 暗黑模式</a></li><li></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/rss/" title="RSS订阅" active-action="action-pagesrss"><i class="fa-duotone fa-rss fa-fw"></i> RSS订阅</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/sitemap.xml" title="站点地图" active-action="action-sitemapxml"><i class="fa-duotone fa-sitemap fa-fw"></i> 站点地图</a></li><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://mhuig.instatus.com/" title="Monitors" active-action="action-https:mhuiginstatuscom"><i class="fa-duotone fa-telescope fa-fw"></i> Monitors</a></li><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://ssl.mhuig.top/" title="SSL Status" active-action="action-https:sslmhuigtop"><i class="fa-brands fa-expeditedssl fa-fw"></i> SSL Status</a></li></ul></li><hr><li><a class="menuitem flat-box faa-parent animated-hover" title="工具箱"><i class="fa-duotone fa-tools fa-fw"></i> 工具箱</a><ul class="list-v"><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://rssbox.mhuig.top/" title="RSS Box" active-action="action-https:rssboxmhuigtop"><i class="fa-duotone fa-conveyor-belt-boxes fa-fw"></i> RSS Box</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/havefun/Coco/" title="My Cat" active-action="action-havefunCoco"><i class="fa-duotone fa-cat fa-fw"></i> My Cat</a></li><li><a class="menuitem flat-box faa-parent animated-hover" href="/pages/talk/" title="碎言碎语" active-action="action-pagestalk"><i class="fa-duotone fa-comments fa-fw"></i> 碎言碎语</a></li></ul></li><hr><li><a class="menuitem flat-box faa-parent animated-hover" target="_blank" rel="external nofollow noopener noreferrer" href="https://github.com/MHuiG" title="GitHub" active-action="action-https:githubcomMHuiG"><i class="fa-brands fa-github fa-fw"></i> GitHub</a></li></ul></li></ul></li></ul></div></div></div></header><div id="l_body"><div id="l_cover"><div id="none" class="cover-wrapper docs featured" style="display:none"><div class="cover-bg lazyload placeholder" data-bg=""></div><div class="cover-body"><div class="top"><p class="title">Magicland</p><p class="subtitle">「看庭前花开花落,望天上云卷云舒」</p></div><div class="bottom"><div class="menu navigation"><div class="list-h"><a target="_blank" rel="external nofollow noopener noreferrer" href="https://github.com/MHuiG" active-action="action-https:githubcomMHuiG"><i class="fa-brands fa-github color-github fa-fw"></i><p>Github</p></a><a href="/pages/friends/" active-action="action-pagesfriends"><i class="fa-duotone fa-link color-friends fa-fw"></i><p>友链</p></a><a href="/pages/about/" active-action="action-pagesabout"><i class="fa-duotone fa-user-tie color-about fa-fw"></i><p>关于</p></a><a href="https://www.travellings.cn/go-by-clouds.html" target="_blank" active-action="action-https:wwwtravellingscngo-by-cloudshtml" rel="external nofollow noopener noreferrer"><i class="fa-duotone fa-subway color-travellings fa-fw"></i><p>Travelling</p></a></div></div></div></div><div id="scroll-down" style="display:none"><i class="fa fa-chevron-down scroll-down-effects"></i></div></div></div><div id="safearea"><div class="body-wrapper"><div id="l_main" class=""><article itemscope="" itemtype="http://schema.org/Article" class="article post white-box reveal md shadow floatable blur article-type-docs" id="docs" itemprop="blogPost"><link itemprop="mainEntityOfPage" href="https://blog.mhuig.top/notes/Zeta/144"><span hidden="" itemprop="publisher" itemscope="" itemtype="http://schema.org/Organization"><meta itemprop="name" content="Magicland"></span><span hidden="" itemprop="post" itemscope="" itemtype="http://schema.org/CreativeWork"><meta itemprop="name" content="玻尔兹曼机：从统计物理到深度学习的跨学科桥梁"><meta itemprop="description" content="玻尔兹曼机是基于统计物理中玻尔兹曼分布和伊辛模型的随机神经网络模型。它通过能量函数定义状态概率，为深度学习中的无监督学习和生成式建模提供了理论基础。尽管其训练存在挑战，但其简化版本和衍生算法在特征学习、协同过滤等领域具有重要应用价值。"></span><span hidden=""><meta itemprop="image" content="/lib/favicon/android-chrome-192x192.png"></span><div class="article-meta" id="top"><span hidden="" itemprop="name headline"></span></div><div id="layoutHelper-page-plugins"></div><div id="post-body" itemprop="articleBody"><p> <span class="p logo center large">玻尔兹曼机</span></p><br><h1 hidden="">玻尔兹曼机：从统计物理到深度学习的跨学科桥梁</h1><p>玻尔兹曼机（Boltzmann Machine, BM）是由杰弗里・欣顿（Geoffrey Hinton）和特里・谢泽诺斯基（Terry Sejnowski）于 1985 年提出的随机神经网络模型，其核心思想源于统计物理学中的玻尔兹曼分布和伊辛模型。该模型通过能量函数定义系统状态的概率分布，能量越低的状态出现概率越高，从而实现对复杂数据分布的无监督学习。尽管原始玻尔兹曼机因训练效率问题未能广泛应用，但其衍生的受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）和深度玻尔兹曼机（Deep Boltzmann Machine, DBM）成为现代深度学习的重要基础。</p><div class="story post-story"><h2 id="历史背景与跨学科起源"><a href="#历史背景与跨学科起源" class="headerlink" title="历史背景与跨学科起源"></a>历史背景与跨学科起源</h2><p>玻尔兹曼机的思想可追溯至 19 世纪物理学家路德维希・玻尔兹曼的统计力学研究，以及 20 世纪 20 年代恩斯特・伊辛提出的磁性模型。1982 年，约翰・霍普菲尔德提出的霍普菲尔德网络（Hopfield Network）为玻尔兹曼机提供了直接灵感，霍普菲尔德网络通过能量函数实现联想记忆，但缺乏随机性和生成能力。欣顿和谢泽诺斯基在霍普菲尔德网络基础上引入随机神经元和玻尔兹曼分布，于 1985 年正式提出玻尔兹曼机，使其能够通过 “做梦”（生成样本）学习数据分布。</p><p>早期玻尔兹曼机因全连接结构导致训练困难，1986 年欣顿提出受限玻尔兹曼机，通过限制同层节点连接大幅提升训练效率。2002 年，欣顿进一步提出对比散度（Contrastive Divergence, CD）算法，解决了 RBM 训练中的采样效率问题，推动其在协同过滤、特征学习等领域的应用。2008 年后，深度玻尔兹曼机（DBM）通过堆叠 RBM 实现更深层次的特征学习，成为深度信念网络（DBN）的基础。</p></div><div class="story post-story"><h2 id="玻尔兹曼机的定义与数学基础"><a href="#玻尔兹曼机的定义与数学基础" class="headerlink" title="玻尔兹曼机的定义与数学基础"></a>玻尔兹曼机的定义与数学基础</h2><h3 id="基本结构与能量函数"><a href="#基本结构与能量函数" class="headerlink" title="基本结构与能量函数"></a>基本结构与能量函数</h3><p>玻尔兹曼机是一种对称耦合的随机二元单位网络，包含可见单元（visible units）<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.373ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 607 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v} \in \{0,1\}^D"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="9.181ex" height="2.48ex" role="img" focusable="false" viewBox="0 -846 4057.9 1096"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v} \in \{0,1\}^D"><g data-mml-node="mo" data-latex="\in"><path data-c="2208" d="M563 4 373 4C310 4 254 25 208 68 162 111 136 163 130 226L563 226C579 226 587 234 587 250 587 266 579 274 563 274L130 274C136 337 162 389 208 432 254 475 310 496 373 496L563 496C579 496 587 504 587 519 587 535 579 543 563 543L373 543C292 543 223 515 166 458 109 401 81 332 81 250 81 168 109 99 166 42 223-15 292-43 373-43L563-43C579-43 587-35 587-19 587-7 576 4 563 4Z"></path></g><g data-mml-node="mo" data-latex="\{" transform="translate(944.8,0)"><path data-c="7B" d="M286-122 286 126C286 183 251 225 182 250 251 275 286 317 286 374L286 622C286 680 348 718 409 718 420 718 425 723 425 734 425 745 420 750 409 750 363 750 321 740 284 721 237 697 214 664 214 622L214 374C214 311 154 266 91 266 80 266 75 261 75 250 75 239 80 234 91 234 155 234 214 188 214 126L214-122C214-164 237-197 284-221 321-240 363-250 409-250 420-250 425-245 425-234 425-223 420-218 409-218 348-218 286-180 286-122Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(1444.8,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(1944.8,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(2389.4,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="msup" data-latex="\}^D" transform="translate(2889.4,0)"><g data-mml-node="mo" data-latex="\}"><path data-c="7D" d="M286 374 286 622C286 664 263 697 216 721 179 740 137 750 91 750 80 750 75 745 75 734 75 723 80 718 91 718 152 718 214 680 214 622L214 374C214 317 249 275 318 250 249 225 214 183 214 126L214-122C214-180 152-218 91-218 80-218 75-223 75-234 75-245 80-250 91-250 137-250 179-240 216-221 263-197 286-164 286-122L286 126C286 188 345 234 409 234 420 234 425 239 425 250 425 261 420 266 409 266 345 266 286 312 286 374Z"></path></g><g data-mml-node="mi" transform="translate(533,363) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g></g></g></svg></mjx-container> 和隐藏单元（hidden units）<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.446ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 639 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{h} \in \{0,1\}^P"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="9.062ex" height="2.48ex" role="img" focusable="false" viewBox="0 -846 4005.6 1096"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{h} \in \{0,1\}^P"><g data-mml-node="mo" data-latex="\in"><path data-c="2208" d="M563 4 373 4C310 4 254 25 208 68 162 111 136 163 130 226L563 226C579 226 587 234 587 250 587 266 579 274 563 274L130 274C136 337 162 389 208 432 254 475 310 496 373 496L563 496C579 496 587 504 587 519 587 535 579 543 563 543L373 543C292 543 223 515 166 458 109 401 81 332 81 250 81 168 109 99 166 42 223-15 292-43 373-43L563-43C579-43 587-35 587-19 587-7 576 4 563 4Z"></path></g><g data-mml-node="mo" data-latex="\{" transform="translate(944.8,0)"><path data-c="7B" d="M286-122 286 126C286 183 251 225 182 250 251 275 286 317 286 374L286 622C286 680 348 718 409 718 420 718 425 723 425 734 425 745 420 750 409 750 363 750 321 740 284 721 237 697 214 664 214 622L214 374C214 311 154 266 91 266 80 266 75 261 75 250 75 239 80 234 91 234 155 234 214 188 214 126L214-122C214-164 237-197 284-221 321-240 363-250 409-250 420-250 425-245 425-234 425-223 420-218 409-218 348-218 286-180 286-122Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(1444.8,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(1944.8,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(2389.4,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="msup" data-latex="\}^P" transform="translate(2889.4,0)"><g data-mml-node="mo" data-latex="\}"><path data-c="7D" d="M286 374 286 622C286 664 263 697 216 721 179 740 137 750 91 750 80 750 75 745 75 734 75 723 80 718 91 718 152 718 214 680 214 622L214 374C214 317 249 275 318 250 249 225 214 183 214 126L214-122C214-180 152-218 91-218 80-218 75-223 75-234 75-245 80-250 91-250 137-250 179-240 216-221 263-197 286-164 286-122L286 126C286 188 345 234 409 234 420 234 425 239 425 250 425 261 420 266 409 266 345 266 286 312 286 374Z"></path></g><g data-mml-node="mi" transform="translate(533,363) scale(0.707)" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g></g></g></svg></mjx-container> ，其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="1.873ex" height="1.545ex" role="img" focusable="false" viewBox="0 -683 828 683"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="D"><g data-mml-node="mi" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g></g></svg></mjx-container> 和<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="1.706ex" height="1.545ex" role="img" focusable="false" viewBox="0 -683 754 683"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="P"><g data-mml-node="mi" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g></g></svg></mjx-container> 分别为可见单元和隐藏单元的数量。系统状态<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="6.087ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 2690.7 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\{\mathbf{v}, \mathbf{h}\}"><g data-mml-node="mo" data-latex="\{"><path data-c="7B" d="M286-122 286 126C286 183 251 225 182 250 251 275 286 317 286 374L286 622C286 680 348 718 409 718 420 718 425 723 425 734 425 745 420 750 409 750 363 750 321 740 284 721 237 697 214 664 214 622L214 374C214 311 154 266 91 266 80 266 75 261 75 250 75 239 80 234 91 234 155 234 214 188 214 126L214-122C214-164 237-197 284-221 321-240 363-250 409-250 420-250 425-245 425-234 425-223 420-218 409-218 348-218 286-180 286-122Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(500,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(1107,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(1551.7,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex="\}" transform="translate(2190.7,0)"><path data-c="7D" d="M286 374 286 622C286 664 263 697 216 721 179 740 137 750 91 750 80 750 75 745 75 734 75 723 80 718 91 718 152 718 214 680 214 622L214 374C214 317 249 275 318 250 249 225 214 183 214 126L214-122C214-180 152-218 91-218 80-218 75-223 75-234 75-245 80-250 91-250 137-250 179-240 216-221 263-197 286-164 286-122L286 126C286 188 345 234 409 234 420 234 425 239 425 250 425 261 420 266 409 266 345 266 286 312 286 374Z"></path></g></g></g></svg></mjx-container> 的能量函数定义为：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:49.901ex"><svg style="vertical-align:-1.729ex;min-width:49.901ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="4.588ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1264)"><g data-mml-node="math" data-latex="
E_{\theta}(\mathbf{v}, \mathbf{h}) = -\frac{1}{2}\mathbf{v}^T L\mathbf{v} - \frac{1}{2}\mathbf{h}^T J\mathbf{h} - \mathbf{v}^T W\mathbf{h}
"><g data-mml-node="mtable" data-latex="
E_{\theta}(\mathbf{v}, \mathbf{h}) = -\frac{1}{2}\mathbf{v}^T L\mathbf{v} - \frac{1}{2}\mathbf{h}^T J\mathbf{h} - \mathbf{v}^T W\mathbf{h}
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1264) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="8950.1 -1264 1 2028"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,-78)"><g data-mml-node="mtd"><g data-mml-node="msub" data-latex="E_{\theta}"><g data-mml-node="mi" data-latex="E"><path data-c="1D438" d="M199 656C199 646 210 641 231 641 271 641 291 637 291 628 291 625 289 618 286 605L156 82C151 60 141 47 126 42 119 40 101 39 70 39 48 39 38 37 38 16 38 5 49 0 70 0L583 0C607 0 609 2 617 19L657 109C684 171 703 217 714 248 712 257 709 263 698 263 691 263 685 258 681 249 656 190 632 145 608 113 568 59 509 39 415 39L270 39C260 39 253 39 249 40 243 40 240 42 240 45 240 47 242 54 245 67L311 334 406 334C453 334 478 328 483 315 485 310 486 303 486 293 486 280 484 264 479 245 477 240 476 236 476 233 476 223 482 218 493 218 502 218 508 226 512 241L568 473C568 483 563 488 552 488 544 488 538 481 535 467 525 428 512 403 495 391 478 379 450 373 409 373L321 373 379 606C387 640 387 641 429 641L568 641C619 641 654 636 673 626 701 611 715 581 715 536 715 519 714 501 711 484 711 482 711 479 710 475L710 466C710 455 715 450 725 450 735 450 741 459 743 478L763 649C766 677 759 680 732 680L233 680C210 680 199 679 199 656Z"></path></g><g data-mml-node="TeXAtom" transform="translate(771,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(1152.6,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(1541.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(2148.6,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(2593.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(3232.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(3899.1,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(4954.9,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="mfrac" data-latex="\frac{1}{2}" transform="translate(5732.9,0)"><g data-mml-node="mn" data-latex="1" transform="translate(220,676)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mn" data-latex="2" transform="translate(220,-686)"><path data-c="32" d="M237 666C186 666 143 648 106 612 69 576 50 534 50 483 50 449 75 424 106 424 136 424 161 450 161 480 161 513 137 536 105 536 102 536 100 536 98 535 117 584 161 627 224 627 306 627 352 556 352 470 352 403 318 331 250 255L62 43C49 28 50 29 50 0L421 0 450 180 417 180C409 129 402 100 396 91 391 86 361 84 306 84L139 84 236 179C304 243 390 312 419 365 439 400 449 435 449 470 449 588 357 666 237 666Z"></path></g><rect width="700" height="60" x="120" y="220"></rect></g><g data-mml-node="msup" data-latex="\mathbf{v}^T" transform="translate(6672.9,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mi" transform="translate(640,413) scale(0.707)" data-latex="T"><path data-c="1D447" d="M344 631C344 628 343 621 340 611L208 83C204 68 200 59 197 55 188 44 154 39 94 39 63 39 49 42 49 16 49 5 56 0 69 0 120 0 192 4 235 3L317 2C331 2 386 0 403 0 420 0 428 8 428 24 428 34 416 39 391 39 339 39 309 41 300 46 297 48 295 52 295 58L430 603C433 617 436 626 439 629 443 635 467 638 511 638 566 638 604 634 623 625 642 616 652 595 652 561 652 543 649 517 644 483 642 475 641 469 641 464 641 453 646 447 657 447 666 447 672 456 675 473L702 645C703 650 704 656 704 662 704 672 694 677 673 677L125 677C99 677 97 674 89 655L30 481C27 472 25 466 24 462 24 452 29 447 40 447 48 447 55 455 60 470 85 543 110 588 133 607 159 628 209 638 282 638L321 638C332 638 344 639 344 631Z"></path></g></g><g data-mml-node="mi" data-latex="L" transform="translate(7860.7,0)"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(8541.7,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="-" transform="translate(9370.9,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="mfrac" data-latex="\frac{1}{2}" transform="translate(10371.1,0)"><g data-mml-node="mn" data-latex="1" transform="translate(220,676)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mn" data-latex="2" transform="translate(220,-686)"><path data-c="32" d="M237 666C186 666 143 648 106 612 69 576 50 534 50 483 50 449 75 424 106 424 136 424 161 450 161 480 161 513 137 536 105 536 102 536 100 536 98 535 117 584 161 627 224 627 306 627 352 556 352 470 352 403 318 331 250 255L62 43C49 28 50 29 50 0L421 0 450 180 417 180C409 129 402 100 396 91 391 86 361 84 306 84L139 84 236 179C304 243 390 312 419 365 439 400 449 435 449 470 449 588 357 666 237 666Z"></path></g><rect width="700" height="60" x="120" y="220"></rect></g><g data-mml-node="msup" data-latex="\mathbf{h}^T" transform="translate(11311.1,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mi" transform="translate(672,413) scale(0.707)" data-latex="T"><path data-c="1D447" d="M344 631C344 628 343 621 340 611L208 83C204 68 200 59 197 55 188 44 154 39 94 39 63 39 49 42 49 16 49 5 56 0 69 0 120 0 192 4 235 3L317 2C331 2 386 0 403 0 420 0 428 8 428 24 428 34 416 39 391 39 339 39 309 41 300 46 297 48 295 52 295 58L430 603C433 617 436 626 439 629 443 635 467 638 511 638 566 638 604 634 623 625 642 616 652 595 652 561 652 543 649 517 644 483 642 475 641 469 641 464 641 453 646 447 657 447 666 447 672 456 675 473L702 645C703 650 704 656 704 662 704 672 694 677 673 677L125 677C99 677 97 674 89 655L30 481C27 472 25 466 24 462 24 452 29 447 40 447 48 447 55 455 60 470 85 543 110 588 133 607 159 628 209 638 282 638L321 638C332 638 344 639 344 631Z"></path></g></g><g data-mml-node="mi" data-latex="J" transform="translate(12530.9,0)"><path data-c="1D43D" d="M633 667C633 678 627 683 615 683 596 683 525 680 506 680L361 683C344 683 336 675 336 659 336 649 349 644 374 644 419 644 446 642 453 637 456 635 457 632 457 627 457 624 456 617 454 607L340 153C324 89 273 8 202 8 157 8 128 25 114 60L120 60C156 60 188 91 188 127 188 158 172 173 141 173 97 173 71 134 71 90 71 20 132-22 205-22 255-22 301-6 344 26 387 58 415 97 427 144L542 606C551 642 555 644 602 644 623 644 633 646 633 667Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(13163.9,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex="-" transform="translate(14025.1,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="msup" data-latex="\mathbf{v}^T" transform="translate(15025.4,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mi" transform="translate(640,413) scale(0.707)" data-latex="T"><path data-c="1D447" d="M344 631C344 628 343 621 340 611L208 83C204 68 200 59 197 55 188 44 154 39 94 39 63 39 49 42 49 16 49 5 56 0 69 0 120 0 192 4 235 3L317 2C331 2 386 0 403 0 420 0 428 8 428 24 428 34 416 39 391 39 339 39 309 41 300 46 297 48 295 52 295 58L430 603C433 617 436 626 439 629 443 635 467 638 511 638 566 638 604 634 623 625 642 616 652 595 652 561 652 543 649 517 644 483 642 475 641 469 641 464 641 453 646 447 657 447 666 447 672 456 675 473L702 645C703 650 704 656 704 662 704 672 694 677 673 677L125 677C99 677 97 674 89 655L30 481C27 472 25 466 24 462 24 452 29 447 40 447 48 447 55 455 60 470 85 543 110 588 133 607 159 628 209 638 282 638L321 638C332 638 344 639 344 631Z"></path></g></g><g data-mml-node="mi" data-latex="W" transform="translate(16213.2,0)"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(17261.2,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1264 1 2028"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:1" transform="translate(0,670)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(1)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.061ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 469 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\theta = \{W, L, J\}"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="12.007ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 5307.1 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\theta = \{W, L, J\}"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mo" data-latex="\{" transform="translate(1055.8,0)"><path data-c="7B" d="M286-122 286 126C286 183 251 225 182 250 251 275 286 317 286 374L286 622C286 680 348 718 409 718 420 718 425 723 425 734 425 745 420 750 409 750 363 750 321 740 284 721 237 697 214 664 214 622L214 374C214 311 154 266 91 266 80 266 75 261 75 250 75 239 80 234 91 234 155 234 214 188 214 126L214-122C214-164 237-197 284-221 321-240 363-250 409-250 420-250 425-245 425-234 425-223 420-218 409-218 348-218 286-180 286-122Z"></path></g><g data-mml-node="mi" data-latex="W" transform="translate(1555.8,0)"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(2603.8,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mi" data-latex="L" transform="translate(3048.4,0)"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(3729.4,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mi" data-latex="J" transform="translate(4174.1,0)"><path data-c="1D43D" d="M633 667C633 678 627 683 615 683 596 683 525 680 506 680L361 683C344 683 336 675 336 659 336 649 349 644 374 644 419 644 446 642 453 637 456 635 457 632 457 627 457 624 456 617 454 607L340 153C324 89 273 8 202 8 157 8 128 25 114 60L120 60C156 60 188 91 188 127 188 158 172 173 141 173 97 173 71 134 71 90 71 20 132-22 205-22 255-22 301-6 344 26 387 58 415 97 427 144L542 606C551 642 555 644 602 644 623 644 633 646 633 667Z"></path></g><g data-mml-node="mo" data-latex="\}" transform="translate(4807.1,0)"><path data-c="7D" d="M286 374 286 622C286 664 263 697 216 721 179 740 137 750 91 750 80 750 75 745 75 734 75 723 80 718 91 718 152 718 214 680 214 622L214 374C214 317 249 275 318 250 249 225 214 183 214 126L214-122C214-180 152-218 91-218 80-218 75-223 75-234 75-245 80-250 91-250 137-250 179-240 216-221 263-197 286-164 286-122L286 126C286 188 345 234 409 234 420 234 425 239 425 250 425 261 420 266 409 266 345 266 286 312 286 374Z"></path></g></g></g></svg></mjx-container> 为模型参数：<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="2.371ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1048 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="W \in \mathbb{R}^{D \times P}"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="7.734ex" height="2.48ex" role="img" focusable="false" viewBox="0 -846 3418.5 1096"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="W \in \mathbb{R}^{D \times P}"><g data-mml-node="mo" data-latex="\in"><path data-c="2208" d="M563 4 373 4C310 4 254 25 208 68 162 111 136 163 130 226L563 226C579 226 587 234 587 250 587 266 579 274 563 274L130 274C136 337 162 389 208 432 254 475 310 496 373 496L563 496C579 496 587 504 587 519 587 535 579 543 563 543L373 543C292 543 223 515 166 458 109 401 81 332 81 250 81 168 109 99 166 42 223-15 292-43 373-43L563-43C579-43 587-35 587-19 587-7 576 4 563 4Z"></path></g><g data-mml-node="msup" data-latex="\mathbb{R}^{D\times P}" transform="translate(944.8,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{R}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="R"><path data-c="211D" d="M104 590 104 95C104 45 99 43 47 43 26 43 16 36 16 22 16 4 31 0 54 0L324 0C349 0 361 7 361 22 361 36 350 43 329 43 277 43 273 45 273 95L273 310 302 310 450 83C475 43 490 20 494 14 500 5 512 0 530 0L666 0C691 0 703 7 703 22 703 33 697 40 685 42 660 47 625 82 579 146 534 208 494 267 459 322 573 344 630 402 630 496 630 563 600 613 540 644 488 671 429 685 364 685L54 685C29 685 16 678 16 663 16 649 26 642 47 642 99 642 104 640 104 590M535 597C570 576 587 542 587 496 587 427 547 385 468 368 485 396 494 438 494 495 494 552 483 596 462 629 487 622 512 612 535 597M452 495C452 433 441 394 419 378 397 362 348 353 273 353L273 593C273 630 287 642 330 642 425 642 452 595 452 495M413 316C496 184 561 93 610 43L525 43 352 311C357 312 361 312 364 312 378 312 394 313 413 316M140 642 240 642C234 631 231 616 231 596L231 93C231 72 233 55 237 43L140 43C144 55 146 72 146 93L146 592C146 613 144 630 140 642Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(755,363) scale(0.707)" data-latex="{D\times P}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g><g data-mml-node="mo" data-latex="\times" transform="translate(828,0)"><path data-c="D7" d="M630 32C630 39 628 44 623 49L422 250 623 451C628 456 630 461 630 468 630 481 620 491 607 491 600 491 595 489 590 484L389 283 188 484C183 489 178 491 171 491 158 491 148 481 148 468 148 461 150 456 155 451L356 250 155 49C150 44 148 39 148 32 148 19 158 9 171 9 178 9 183 11 188 16L389 217 590 16C595 11 600 9 607 9 620 9 630 19 630 32Z"></path></g><g data-mml-node="mi" data-latex="P" transform="translate(1606,0)"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g></g></g></g></svg></mjx-container> 表示可见单元与隐藏单元的交互权重，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.541ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 681 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="L \in \mathbb{R}^{D \times D}"><g data-mml-node="mi" data-latex="L"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="7.853ex" height="2.48ex" role="img" focusable="false" viewBox="0 -846 3470.9 1096"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="L \in \mathbb{R}^{D \times D}"><g data-mml-node="mo" data-latex="\in"><path data-c="2208" d="M563 4 373 4C310 4 254 25 208 68 162 111 136 163 130 226L563 226C579 226 587 234 587 250 587 266 579 274 563 274L130 274C136 337 162 389 208 432 254 475 310 496 373 496L563 496C579 496 587 504 587 519 587 535 579 543 563 543L373 543C292 543 223 515 166 458 109 401 81 332 81 250 81 168 109 99 166 42 223-15 292-43 373-43L563-43C579-43 587-35 587-19 587-7 576 4 563 4Z"></path></g><g data-mml-node="msup" data-latex="\mathbb{R}^{D\times D}" transform="translate(944.8,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{R}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="R"><path data-c="211D" d="M104 590 104 95C104 45 99 43 47 43 26 43 16 36 16 22 16 4 31 0 54 0L324 0C349 0 361 7 361 22 361 36 350 43 329 43 277 43 273 45 273 95L273 310 302 310 450 83C475 43 490 20 494 14 500 5 512 0 530 0L666 0C691 0 703 7 703 22 703 33 697 40 685 42 660 47 625 82 579 146 534 208 494 267 459 322 573 344 630 402 630 496 630 563 600 613 540 644 488 671 429 685 364 685L54 685C29 685 16 678 16 663 16 649 26 642 47 642 99 642 104 640 104 590M535 597C570 576 587 542 587 496 587 427 547 385 468 368 485 396 494 438 494 495 494 552 483 596 462 629 487 622 512 612 535 597M452 495C452 433 441 394 419 378 397 362 348 353 273 353L273 593C273 630 287 642 330 642 425 642 452 595 452 495M413 316C496 184 561 93 610 43L525 43 352 311C357 312 361 312 364 312 378 312 394 313 413 316M140 642 240 642C234 631 231 616 231 596L231 93C231 72 233 55 237 43L140 43C144 55 146 72 146 93L146 592C146 613 144 630 140 642Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(755,363) scale(0.707)" data-latex="{D\times D}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g><g data-mml-node="mo" data-latex="\times" transform="translate(828,0)"><path data-c="D7" d="M630 32C630 39 628 44 623 49L422 250 623 451C628 456 630 461 630 468 630 481 620 491 607 491 600 491 595 489 590 484L389 283 188 484C183 489 178 491 171 491 158 491 148 481 148 468 148 461 150 456 155 451L356 250 155 49C150 44 148 39 148 32 148 19 158 9 171 9 178 9 183 11 188 16L389 217 590 16C595 11 600 9 607 9 620 9 630 19 630 32Z"></path></g><g data-mml-node="mi" data-latex="D" transform="translate(1606,0)"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g></g></g></g></svg></mjx-container> 表示可见单元间的交互权重，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.432ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 633 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="J \in \mathbb{R}^{P \times P}"><g data-mml-node="mi" data-latex="J"><path data-c="1D43D" d="M633 667C633 678 627 683 615 683 596 683 525 680 506 680L361 683C344 683 336 675 336 659 336 649 349 644 374 644 419 644 446 642 453 637 456 635 457 632 457 627 457 624 456 617 454 607L340 153C324 89 273 8 202 8 157 8 128 25 114 60L120 60C156 60 188 91 188 127 188 158 172 173 141 173 97 173 71 134 71 90 71 20 132-22 205-22 255-22 301-6 344 26 387 58 415 97 427 144L542 606C551 642 555 644 602 644 623 644 633 646 633 667Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="7.616ex" height="2.48ex" role="img" focusable="false" viewBox="0 -846 3366.2 1096"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="J \in \mathbb{R}^{P \times P}"><g data-mml-node="mo" data-latex="\in"><path data-c="2208" d="M563 4 373 4C310 4 254 25 208 68 162 111 136 163 130 226L563 226C579 226 587 234 587 250 587 266 579 274 563 274L130 274C136 337 162 389 208 432 254 475 310 496 373 496L563 496C579 496 587 504 587 519 587 535 579 543 563 543L373 543C292 543 223 515 166 458 109 401 81 332 81 250 81 168 109 99 166 42 223-15 292-43 373-43L563-43C579-43 587-35 587-19 587-7 576 4 563 4Z"></path></g><g data-mml-node="msup" data-latex="\mathbb{R}^{P\times P}" transform="translate(944.8,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{R}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="R"><path data-c="211D" d="M104 590 104 95C104 45 99 43 47 43 26 43 16 36 16 22 16 4 31 0 54 0L324 0C349 0 361 7 361 22 361 36 350 43 329 43 277 43 273 45 273 95L273 310 302 310 450 83C475 43 490 20 494 14 500 5 512 0 530 0L666 0C691 0 703 7 703 22 703 33 697 40 685 42 660 47 625 82 579 146 534 208 494 267 459 322 573 344 630 402 630 496 630 563 600 613 540 644 488 671 429 685 364 685L54 685C29 685 16 678 16 663 16 649 26 642 47 642 99 642 104 640 104 590M535 597C570 576 587 542 587 496 587 427 547 385 468 368 485 396 494 438 494 495 494 552 483 596 462 629 487 622 512 612 535 597M452 495C452 433 441 394 419 378 397 362 348 353 273 353L273 593C273 630 287 642 330 642 425 642 452 595 452 495M413 316C496 184 561 93 610 43L525 43 352 311C357 312 361 312 364 312 378 312 394 313 413 316M140 642 240 642C234 631 231 616 231 596L231 93C231 72 233 55 237 43L140 43C144 55 146 72 146 93L146 592C146 613 144 630 140 642Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(755,363) scale(0.707)" data-latex="{P\times P}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g><g data-mml-node="mo" data-latex="\times" transform="translate(754,0)"><path data-c="D7" d="M630 32C630 39 628 44 623 49L422 250 623 451C628 456 630 461 630 468 630 481 620 491 607 491 600 491 595 489 590 484L389 283 188 484C183 489 178 491 171 491 158 491 148 481 148 468 148 461 150 456 155 451L356 250 155 49C150 44 148 39 148 32 148 19 158 9 171 9 178 9 183 11 188 16L389 217 590 16C595 11 600 9 607 9 620 9 630 19 630 32Z"></path></g><g data-mml-node="mi" data-latex="P" transform="translate(1532,0)"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g></g></g></g></svg></mjx-container> 表示隐藏单元间的交互权重（<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="1.541ex" height="1.548ex" role="img" focusable="false" viewBox="0 -684 681 684"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="L"><g data-mml-node="mi" data-latex="L"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g></g></g></svg></mjx-container> 和<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.05ex" xmlns="http://www.w3.org/2000/svg" width="1.432ex" height="1.595ex" role="img" focusable="false" viewBox="0 -683 633 705"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="J"><g data-mml-node="mi" data-latex="J"><path data-c="1D43D" d="M633 667C633 678 627 683 615 683 596 683 525 680 506 680L361 683C344 683 336 675 336 659 336 649 349 644 374 644 419 644 446 642 453 637 456 635 457 632 457 627 457 624 456 617 454 607L340 153C324 89 273 8 202 8 157 8 128 25 114 60L120 60C156 60 188 91 188 127 188 158 172 173 141 173 97 173 71 134 71 90 71 20 132-22 205-22 255-22 301-6 344 26 387 58 415 97 427 144L542 606C551 642 555 644 602 644 623 644 633 646 633 667Z"></path></g></g></g></svg></mjx-container> 的对角元素为 0 以避免自连接）。</p><h3 id="玻尔兹曼分布与配分函数"><a href="#玻尔兹曼分布与配分函数" class="headerlink" title="玻尔兹曼分布与配分函数"></a>玻尔兹曼分布与配分函数</h3><p>玻尔兹曼机的联合概率分布遵循玻尔兹曼分布，即系统处于状态<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="6.087ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 2690.7 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\{\mathbf{v}, \mathbf{h}\}"><g data-mml-node="mo" data-latex="\{"><path data-c="7B" d="M286-122 286 126C286 183 251 225 182 250 251 275 286 317 286 374L286 622C286 680 348 718 409 718 420 718 425 723 425 734 425 745 420 750 409 750 363 750 321 740 284 721 237 697 214 664 214 622L214 374C214 311 154 266 91 266 80 266 75 261 75 250 75 239 80 234 91 234 155 234 214 188 214 126L214-122C214-164 237-197 284-221 321-240 363-250 409-250 420-250 425-245 425-234 425-223 420-218 409-218 348-218 286-180 286-122Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(500,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(1107,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(1551.7,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex="\}" transform="translate(2190.7,0)"><path data-c="7D" d="M286 374 286 622C286 664 263 697 216 721 179 740 137 750 91 750 80 750 75 745 75 734 75 723 80 718 91 718 152 718 214 680 214 622L214 374C214 317 249 275 318 250 249 225 214 183 214 126L214-122C214-180 152-218 91-218 80-218 75-223 75-234 75-245 80-250 91-250 137-250 179-240 216-221 263-197 286-164 286-122L286 126C286 188 345 234 409 234 420 234 425 239 425 250 425 261 420 266 409 266 345 266 286 312 286 374Z"></path></g></g></g></svg></mjx-container> 的概率为：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:41.081ex"><svg style="vertical-align:-2.034ex;min-width:41.081ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="5.199ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1399)"><g data-mml-node="math" data-latex="
p_{\theta}(\mathbf{v}, \mathbf{h}) = \frac{1}{Z(\theta)} \exp\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)
"><g data-mml-node="mtable" data-latex="
p_{\theta}(\mathbf{v}, \mathbf{h}) = \frac{1}{Z(\theta)} \exp\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1399) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="7000.9 -1399 1 2298"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,57)"><g data-mml-node="mtd"><g data-mml-node="msub" data-latex="p_{\theta}"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="TeXAtom" transform="translate(536,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(917.6,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(1306.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(1913.6,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(2358.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(2997.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(3664.1,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mfrac" data-latex="\frac{1}{Z(\theta)}" transform="translate(4719.9,0)"><g data-mml-node="mn" data-latex="1" transform="translate(955,676)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mrow" data-latex="Z(\theta)" transform="translate(220,-708)"><g data-mml-node="mi" data-latex="Z"><path data-c="1D44D" d="M720 653C722 662 723 668 723 670 723 679 718 683 707 683L277 683C252 683 249 680 243 660L189 483C187 478 186 472 185 467 188 459 190 453 201 453 206 453 212 457 218 465 239 530 267 577 302 604 337 631 389 644 457 644L609 644 62 33 58 13C58 4 64 0 75 0L516 0C542 0 545 2 551 23L621 242C622 246 625 253 625 257 625 267 619 272 608 272 601 272 594 263 588 244 566 176 539 126 506 94 471 59 413 42 333 42L173 42Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(723,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="\theta" transform="translate(1112,0)"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1581,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><rect width="2170" height="60" x="120" y="220"></rect></g><g data-mml-node="mi" data-latex="\exp" transform="translate(7129.9,0)"><path data-c="65" d="M415 251C415 366 348 448 236 448 176 448 126 425 85 378 47 334 28 281 28 220 28 157 49 104 91 58 133 12 185-11 247-11 304-11 348 9 378 48 403 81 415 105 415 121 415 131 409 136 398 136 390 136 385 131 382 120 360 54 317 21 253 21 208 21 173 42 146 85 127 116 118 163 117 227L387 227C409 227 415 229 415 251M326 349C337 316 342 284 342 255L118 255C121 321 138 366 168 389 193 409 215 419 236 419 281 419 311 396 326 349Z"></path><path data-c="78" d="M418 3C441 4 474 3 516 0L516 38C463 38 443 39 422 67L292 235C335 288 364 324 380 343 408 375 447 392 498 393L498 431C470 429 442 428 414 428 377 428 344 429 315 431L315 393C334 391 344 382 344 366 344 357 339 346 330 334L272 262 198 357C193 364 190 369 190 372 190 385 202 392 225 393L225 431 114 428C88 427 56 428 17 431L17 393C53 393 76 390 86 385 96 380 112 363 134 334L229 210C180 147 150 109 139 96 107 57 65 38 12 38L12 0C49 3 77 4 98 3L195 0 195 38C176 41 167 50 167 65 167 69 168 74 170 79 176 92 203 126 251 183L323 89C334 75 340 65 343 59 343 46 331 39 307 38L307 0Z" transform="translate(444,0)"></path><path data-c="70" d="M298-13C360-13 413 9 456 54 499 99 521 152 521 215 521 276 501 328 462 372 421 419 371 442 311 442 260 442 216 422 178 383L178 442 28 431 28 393C65 393 87 391 94 386 101 381 105 368 105 347L105-115C105-134 101-146 94-150 87-154 65-155 28-155L28-194 142-191 257-194 257-155C220-155 199-154 192-150 185-146 181-134 181-115L181 44C203 13 246-13 298-13M304 409C345 409 377 386 402 340 421 301 431 260 431 215 431 168 420 125 398 86 372 39 337 16 294 16 252 16 219 36 194 75 185 88 181 101 181 114L181 333C210 384 251 409 304 409Z" transform="translate(972,0)"></path></g><g data-mml-node="mo" transform="translate(8657.9,0)"><path data-c="2061" d=""></path></g><g data-mml-node="mrow" data-latex-item="\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)" data-latex="\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)" transform="translate(8824.5,0)"><g data-mml-node="mo" data-latex-item="\left(" data-latex="\left("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(389,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="msub" data-latex="E_{\theta}" transform="translate(1167,0)"><g data-mml-node="mi" data-latex="E"><path data-c="1D438" d="M199 656C199 646 210 641 231 641 271 641 291 637 291 628 291 625 289 618 286 605L156 82C151 60 141 47 126 42 119 40 101 39 70 39 48 39 38 37 38 16 38 5 49 0 70 0L583 0C607 0 609 2 617 19L657 109C684 171 703 217 714 248 712 257 709 263 698 263 691 263 685 258 681 249 656 190 632 145 608 113 568 59 509 39 415 39L270 39C260 39 253 39 249 40 243 40 240 42 240 45 240 47 242 54 245 67L311 334 406 334C453 334 478 328 483 315 485 310 486 303 486 293 486 280 484 264 479 245 477 240 476 236 476 233 476 223 482 218 493 218 502 218 508 226 512 241L568 473C568 483 563 488 552 488 544 488 538 481 535 467 525 428 512 403 495 391 478 379 450 373 409 373L321 373 379 606C387 640 387 641 429 641L568 641C619 641 654 636 673 626 701 611 715 581 715 536 715 519 714 501 711 484 711 482 711 479 710 475L710 466C710 455 715 450 725 450 735 450 741 459 743 478L763 649C766 677 759 680 732 680L233 680C210 680 199 679 199 656Z"></path></g><g data-mml-node="TeXAtom" transform="translate(771,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(2319.6,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(2708.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(3315.6,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(3760.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4399.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex-item="\right)" data-latex="\right)" transform="translate(4788.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1399 1 2298"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:2" transform="translate(0,805)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(2)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="32" d="M237 666C186 666 143 648 106 612 69 576 50 534 50 483 50 449 75 424 106 424 136 424 161 450 161 480 161 513 137 536 105 536 102 536 100 536 98 535 117 584 161 627 224 627 306 627 352 556 352 470 352 403 318 331 250 255L62 43C49 28 50 29 50 0L421 0 450 180 417 180C409 129 402 100 396 91 391 86 361 84 306 84L139 84 236 179C304 243 390 312 419 365 439 400 449 435 449 470 449 588 357 666 237 666Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.561ex" xmlns="http://www.w3.org/2000/svg" width="4.457ex" height="2.253ex" role="img" focusable="false" viewBox="0 -748 1970 996"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="Z(\theta)"><g data-mml-node="mi" data-latex="Z"><path data-c="1D44D" d="M720 653C722 662 723 668 723 670 723 679 718 683 707 683L277 683C252 683 249 680 243 660L189 483C187 478 186 472 185 467 188 459 190 453 201 453 206 453 212 457 218 465 239 530 267 577 302 604 337 631 389 644 457 644L609 644 62 33 58 13C58 4 64 0 75 0L516 0C542 0 545 2 551 23L621 242C622 246 625 253 625 257 625 267 619 272 608 272 601 272 594 263 588 244 566 176 539 126 506 94 471 59 413 42 333 42L173 42Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(723,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="\theta" transform="translate(1112,0)"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1581,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></svg></mjx-container> 为配分函数（partition function），用于归一化概率分布：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:36.068ex"><svg style="vertical-align:-2.03ex;min-width:36.068ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="5.191ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1397.1)"><g data-mml-node="math" data-latex="
Z(\theta) = \sum_{\mathbf{v}, \mathbf{h} } \exp\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)
"><g data-mml-node="mtable" data-latex="
Z(\theta) = \sum_{\mathbf{v}, \mathbf{h} } \exp\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1397.1) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="5893.1 -1397.1 1 2294.2"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,447.1)"><g data-mml-node="mtd"><g data-mml-node="mi" data-latex="Z"><path data-c="1D44D" d="M720 653C722 662 723 668 723 670 723 679 718 683 707 683L277 683C252 683 249 680 243 660L189 483C187 478 186 472 185 467 188 459 190 453 201 453 206 453 212 457 218 465 239 530 267 577 302 604 337 631 389 644 457 644L609 644 62 33 58 13C58 4 64 0 75 0L516 0C542 0 545 2 551 23L621 242C622 246 625 253 625 257 625 267 619 272 608 272 601 272 594 263 588 244 566 176 539 126 506 94 471 59 413 42 333 42L173 42Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(723,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="\theta" transform="translate(1112,0)"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1581,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(2247.8,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="munder" data-latex="\sum_{\mathbf{v},\mathbf{h}}" transform="translate(3303.6,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(183.2,-1107.7) scale(0.707)" data-latex="{\mathbf{v},\mathbf{h}}" data-mjx-texclass="ORD"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(607,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(885,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g></g></g><g data-mml-node="mi" data-latex="\exp" transform="translate(4914.2,0)"><path data-c="65" d="M415 251C415 366 348 448 236 448 176 448 126 425 85 378 47 334 28 281 28 220 28 157 49 104 91 58 133 12 185-11 247-11 304-11 348 9 378 48 403 81 415 105 415 121 415 131 409 136 398 136 390 136 385 131 382 120 360 54 317 21 253 21 208 21 173 42 146 85 127 116 118 163 117 227L387 227C409 227 415 229 415 251M326 349C337 316 342 284 342 255L118 255C121 321 138 366 168 389 193 409 215 419 236 419 281 419 311 396 326 349Z"></path><path data-c="78" d="M418 3C441 4 474 3 516 0L516 38C463 38 443 39 422 67L292 235C335 288 364 324 380 343 408 375 447 392 498 393L498 431C470 429 442 428 414 428 377 428 344 429 315 431L315 393C334 391 344 382 344 366 344 357 339 346 330 334L272 262 198 357C193 364 190 369 190 372 190 385 202 392 225 393L225 431 114 428C88 427 56 428 17 431L17 393C53 393 76 390 86 385 96 380 112 363 134 334L229 210C180 147 150 109 139 96 107 57 65 38 12 38L12 0C49 3 77 4 98 3L195 0 195 38C176 41 167 50 167 65 167 69 168 74 170 79 176 92 203 126 251 183L323 89C334 75 340 65 343 59 343 46 331 39 307 38L307 0Z" transform="translate(444,0)"></path><path data-c="70" d="M298-13C360-13 413 9 456 54 499 99 521 152 521 215 521 276 501 328 462 372 421 419 371 442 311 442 260 442 216 422 178 383L178 442 28 431 28 393C65 393 87 391 94 386 101 381 105 368 105 347L105-115C105-134 101-146 94-150 87-154 65-155 28-155L28-194 142-191 257-194 257-155C220-155 199-154 192-150 185-146 181-134 181-115L181 44C203 13 246-13 298-13M304 409C345 409 377 386 402 340 421 301 431 260 431 215 431 168 420 125 398 86 372 39 337 16 294 16 252 16 219 36 194 75 185 88 181 101 181 114L181 333C210 384 251 409 304 409Z" transform="translate(972,0)"></path></g><g data-mml-node="mo" transform="translate(6442.2,0)"><path data-c="2061" d=""></path></g><g data-mml-node="mrow" data-latex-item="\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)" data-latex="\left(-E_{\theta}(\mathbf{v}, \mathbf{h})\right)" transform="translate(6608.9,0)"><g data-mml-node="mo" data-latex-item="\left(" data-latex="\left("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(389,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="msub" data-latex="E_{\theta}" transform="translate(1167,0)"><g data-mml-node="mi" data-latex="E"><path data-c="1D438" d="M199 656C199 646 210 641 231 641 271 641 291 637 291 628 291 625 289 618 286 605L156 82C151 60 141 47 126 42 119 40 101 39 70 39 48 39 38 37 38 16 38 5 49 0 70 0L583 0C607 0 609 2 617 19L657 109C684 171 703 217 714 248 712 257 709 263 698 263 691 263 685 258 681 249 656 190 632 145 608 113 568 59 509 39 415 39L270 39C260 39 253 39 249 40 243 40 240 42 240 45 240 47 242 54 245 67L311 334 406 334C453 334 478 328 483 315 485 310 486 303 486 293 486 280 484 264 479 245 477 240 476 236 476 233 476 223 482 218 493 218 502 218 508 226 512 241L568 473C568 483 563 488 552 488 544 488 538 481 535 467 525 428 512 403 495 391 478 379 450 373 409 373L321 373 379 606C387 640 387 641 429 641L568 641C619 641 654 636 673 626 701 611 715 581 715 536 715 519 714 501 711 484 711 482 711 479 710 475L710 466C710 455 715 450 725 450 735 450 741 459 743 478L763 649C766 677 759 680 732 680L233 680C210 680 199 679 199 656Z"></path></g><g data-mml-node="TeXAtom" transform="translate(771,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(2319.6,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(2708.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(3315.6,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(3760.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4399.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex-item="\right)" data-latex="\right)" transform="translate(4788.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1397.1 1 2294.2"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:3" transform="translate(0,1195.1)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(3)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="33" d="M303 353C369 378 431 441 431 526 431 569 410 604 369 631 333 654 292 666 246 666 201 666 162 654 127 631 88 605 68 571 68 528 68 495 90 472 122 472 154 472 176 495 176 527 176 560 157 578 119 580 145 615 186 633 242 633 302 633 332 598 332 527 332 485 324 450 309 421 282 373 245 364 183 364 171 362 165 357 165 348 165 333 172 333 192 333L235 333C310 333 348 280 348 173 348 88 317 14 241 14 176 14 128 36 99 80 134 79 160 105 160 139 160 173 135 198 101 198 62 198 42 178 42 137 42 88 64 49 108 18 147-9 193-22 244-22 301-22 350-3 393 34 436 71 457 117 457 173 457 267 383 332 303 353Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>配分函数的计算涉及对所有可能状态的求和，当单元数量较大时（如<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.873ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 828 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="D+P=100"><g data-mml-node="mi" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g></g></svg><mjx-break size="3"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.969ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1754.2 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="D+P=100"><g data-mml-node="mo" data-latex="+"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="mi" data-latex="P" transform="translate(1000.2,0)"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="5.782ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 2555.8 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="D+P=100"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="00" transform="translate(1055.8,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z" transform="translate(500,0)"></path><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z" transform="translate(1000,0)"></path></g></g></g></svg></mjx-container> 时状态数为<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="3.719ex" height="1.887ex" role="img" focusable="false" viewBox="0 -833.9 1643.7 833.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="2^{100}"><g data-mml-node="msup" data-latex="2^{100}"><g data-mml-node="mn" data-latex="2"><path data-c="32" d="M237 666C186 666 143 648 106 612 69 576 50 534 50 483 50 449 75 424 106 424 136 424 161 450 161 480 161 513 137 536 105 536 102 536 100 536 98 535 117 584 161 627 224 627 306 627 352 556 352 470 352 403 318 331 250 255L62 43C49 28 50 29 50 0L421 0 450 180 417 180C409 129 402 100 396 91 391 86 361 84 306 84L139 84 236 179C304 243 390 312 419 365 439 400 449 435 449 470 449 588 357 666 237 666Z"></path></g><g data-mml-node="TeXAtom" transform="translate(533,363) scale(0.707)" data-latex="{00}" data-mjx-texclass="ORD"><g data-mml-node="mn" data-latex="00"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z" transform="translate(500,0)"></path><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z" transform="translate(1000,0)"></path></g></g></g></g></g></svg></mjx-container> ），直接计算不可行，因此需通过采样方法近似。</p><h3 id="条件概率分布"><a href="#条件概率分布" class="headerlink" title="条件概率分布"></a>条件概率分布</h3><p>玻尔兹曼机中，给定可见单元状态<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.009ex" xmlns="http://www.w3.org/2000/svg" width="1.373ex" height="1.014ex" role="img" focusable="false" viewBox="0 -444 607 448"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v}"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g></g></g></svg></mjx-container> 时，隐藏单元<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.667ex" xmlns="http://www.w3.org/2000/svg" width="2.15ex" height="2.237ex" role="img" focusable="false" viewBox="0 -694 950.3 989"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="h_j"><g data-mml-node="msub" data-latex="h_j"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></svg></mjx-container> 的条件概率为：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:54.516ex"><svg style="vertical-align:-3.158ex;min-width:54.516ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="7.447ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1895.8)"><g data-mml-node="math" data-latex="
p(h_j=1|\mathbf{v}) = \sigma\left(\sum_{i=1}^D W_{ij}v_i + \sum_{k \neq j}^P J_{jk}h_k + b_j\right)
"><g data-mml-node="mtable" data-latex="
p(h_j=1|\mathbf{v}) = \sigma\left(\sum_{i=1}^D W_{ij}v_i + \sum_{k \neq j}^P J_{jk}h_k + b_j\right)
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1895.8) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="9970 -1895.8 1 3291.6"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr"><g data-mml-node="mtd"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(503,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="msub" data-latex="h_j" transform="translate(892,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="=" transform="translate(2120.1,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(3175.9,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex="|" transform="translate(3675.9,0)"><path data-c="7C" d="M139-250C152-250 159-242 159-226L159 726C159 742 152 750 139 750 126 750 119 742 119 726L119-226C119-242 126-250 139-250Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(3953.9,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4560.9,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(5227.7,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mi" data-latex="\sigma" transform="translate(6283.4,0)"><path data-c="1D70E" d="M525 431 300 431C252 431 207 416 166 385 102 336 38 250 38 148 38 58 100-11 190-11 257-11 317 18 368 76 417 132 441 194 441 263 441 304 432 338 414 366L515 366C550 366 567 378 567 403 567 426 550 431 525 431M107 121C107 180 121 234 150 282 184 338 228 366 283 366 341 366 370 336 370 275 370 250 365 221 355 187 335 116 302 66 256 39 233 25 211 18 191 18 136 18 107 63 107 121Z"></path></g><g data-mml-node="mrow" data-latex-item="\left(\sum_{i=1}^D W_{ij}v_i + \sum_{k \neq j}^P J_{jk}h_k + b_j\right)" data-latex="\left(\sum_{i=1}^D W_{ij}v_i + \sum_{k \neq j}^P J_{jk}h_k + b_j\right)" transform="translate(7021.1,0)"><g data-mml-node="mo" data-latex-item="\left(" data-latex="\left("><path data-c="239B" d="M813 1450C820 1455 823 1462 823 1470 823 1487 815 1495 798 1495 793 1495 788 1493 784 1490 697 1423 614 1324 536 1192 399 956 277 603 277 253L277 0 385 0 385 253C385 407 403 562 438 719 500 999 630 1313 813 1450Z" transform="translate(0,400.8)"></path><path data-c="239D" d="M798 0C815 0 823 8 823 25 823 34 819 40 812 44 731 106 658 202 592 334 474 569 385 903 385 1242L385 1495 277 1495 277 1242C277 914 388 575 512 345 594 193 685 80 784 5 788 2 793 0 798 0Z" transform="translate(0,-1395.8)"></path><svg width="875" height="501.6" y="-0.8" x="0" viewBox="0 125.4 875 501.6"><path data-c="239C" d="M277 0 385 0 385 498 277 498Z" transform="scale(1,1.511)"></path></svg></g><g data-mml-node="munderover" data-latex="\sum_{i=1}^D" transform="translate(875,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(148.2,-1087.9) scale(0.707)" data-latex="{i=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(345,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1123,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(429.3,1150) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g><g data-mml-node="msub" data-latex="W_{i j}" transform="translate(2485.7,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g><g data-mml-node="msub" data-latex="v_i" transform="translate(4047.9,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex="+" transform="translate(5082.1,0)"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{k\neq j}^P" transform="translate(6082.3,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(117.1,-1133.2) scale(0.707)" data-latex="{k\neq j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g><g data-mml-node="mo" data-latex="\neq" transform="translate(521,0)"><path data-c="2260" d="M698 178 388 178 440 322 698 322C714 322 722 330 722 346 722 362 714 370 698 370L458 370 576 698C578 701 579 703 579 706 579 722 571 730 555 730 542 730 535 725 532 714L407 370 80 370C64 370 56 362 56 346 56 330 64 322 80 322L390 322 338 178 80 178C64 178 56 170 56 154 56 138 64 130 80 130L320 130 201-198C200-200 200-203 200-206 200-222 208-230 224-230 236-230 243-225 246-214L371 130 698 130C714 130 722 138 722 154 722 166 711 178 698 178Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(1299,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mi" transform="translate(455.4,1150) scale(0.707)" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g><g data-mml-node="msub" data-latex="J_{j k}" transform="translate(7693,0)"><g data-mml-node="mi" data-latex="J"><path data-c="1D43D" d="M633 667C633 678 627 683 615 683 596 683 525 680 506 680L361 683C344 683 336 675 336 659 336 649 349 644 374 644 419 644 446 642 453 637 456 635 457 632 457 627 457 624 456 617 454 607L340 153C324 89 273 8 202 8 157 8 128 25 114 60L120 60C156 60 188 91 188 127 188 158 172 173 141 173 97 173 71 134 71 90 71 20 132-22 205-22 255-22 301-6 344 26 387 58 415 97 427 144L542 606C551 642 555 644 602 644 623 644 633 646 633 667Z"></path></g><g data-mml-node="TeXAtom" transform="translate(588,-150) scale(0.707)" data-latex="{j k}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mi" data-latex="k" transform="translate(412,0)"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g></g><g data-mml-node="msub" data-latex="h_k" transform="translate(8990.7,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g><g data-mml-node="mo" data-latex="+" transform="translate(10240.4,0)"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="msub" data-latex="b_j" transform="translate(11240.6,0)"><g data-mml-node="mi" data-latex="b"><path data-c="1D44F" d="M281 445C245 445 209 428 174 394L243 679C241 688 238 694 226 694 193 694 120 685 107 684 92 682 84 675 84 660 84 650 93 645 112 645 131 645 157 646 157 632 157 628 152 608 143 571L63 249C52 207 47 173 47 148 47 62 93-11 175-11 240-11 297 22 347 89 392 151 415 216 415 283 415 370 364 445 281 445M279 415C318 415 337 385 337 326 337 299 331 263 319 218 297 133 268 75 233 44 213 27 194 19 175 19 134 19 114 51 114 115 114 137 119 170 129 214L151 304C154 319 159 330 165 338 204 389 242 415 279 415Z"></path></g><g data-mml-node="mi" transform="translate(462,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex-item="\right)" data-latex="\right)" transform="translate(12043.9,0)"><path data-c="239E" d="M490 0 598 0 598 253C598 581 487 920 363 1150 281 1301 190 1415 91 1490 87 1493 82 1495 77 1495 60 1495 52 1487 52 1470 52 1462 55 1455 62 1450 143 1389 216 1292 283 1160 402 924 490 593 490 253Z" transform="translate(0,400.8)"></path><path data-c="23A0" d="M598 1242 598 1495 490 1495 490 1242C490 1088 472 933 437 776 375 494 246 184 63 44 56 40 52 34 52 25 52 8 60 0 77 0 82 0 87 2 91 5 178 71 261 170 339 303 477 539 598 892 598 1242Z" transform="translate(0,-1395.8)"></path><svg width="875" height="501.6" y="-0.8" x="0" viewBox="0 125.4 875 501.6"><path data-c="239F" d="M490 0 598 0 598 498 490 498Z" transform="scale(1,1.511)"></path></svg></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1895.8 1 3291.6"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:4"><g data-mml-node="mtext" data-latex="\text{(4)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="34" d="M353 677C344 677 336 672 330 663L28 199 28 163 289 163 289 81C289 63 285 51 278 46 271 41 252 39 219 39L194 39 194 0C223 2 269 3 331 3 393 3 439 2 468 0L468 39 443 39C410 39 391 41 384 46 377 51 373 63 373 81L373 163 471 163 471 202 373 202 373 660C373 670 366 677 353 677M295 553 295 202 67 202Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="4.346ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1921 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\sigma(x) = 1/(1+\exp(-x))"><g data-mml-node="mi" data-latex="\sigma"><path data-c="1D70E" d="M525 431 300 431C252 431 207 416 166 385 102 336 38 250 38 148 38 58 100-11 190-11 257-11 317 18 368 76 417 132 441 194 441 263 441 304 432 338 414 366L515 366C550 366 567 378 567 403 567 426 550 431 525 431M107 121C107 180 121 234 150 282 184 338 228 366 283 366 341 366 370 336 370 275 370 250 365 221 355 187 335 116 302 66 256 39 233 25 211 18 191 18 136 18 107 63 107 121Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(571,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="x" transform="translate(960,0)"><path data-c="1D465" d="M527 373C527 419 482 442 432 442 389 442 355 419 329 373 308 419 273 442 222 442 173 442 133 419 101 374 74 335 60 306 60 287 60 278 65 273 75 273 84 273 90 278 92 287 111 345 153 413 220 413 253 413 269 392 269 351 269 330 251 252 216 118 199 51 169 18 126 18 112 18 99 21 88 26 114 36 127 54 127 80 127 106 114 119 87 119 54 119 29 91 29 58 29 12 76-11 125-11 167-11 201 12 228 58 247 12 283-11 335-11 383-11 423 12 455 57 482 96 496 125 496 144 496 153 491 158 481 158 472 158 467 153 464 144 447 87 402 18 337 18 304 18 287 38 287 79 287 92 292 120 303 165L337 300C356 375 387 413 431 413 445 413 458 410 469 405 442 396 429 378 429 351 429 325 443 312 470 312 502 312 527 341 527 373Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1532,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="6.662ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 2944.8 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\sigma(x) = 1/(1+\exp(-x))"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1055.8,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="TeXAtom" data-mjx-texclass="ORD" transform="translate(1555.8,0)"><g data-mml-node="mo" data-latex="/"><path data-c="2F" d="M444 718C445 720 445 723 445 726 445 742 437 750 421 750 410 750 403 745 399 734L57-218C56-220 56-223 56-226 56-242 64-250 80-250 91-250 98-245 102-234Z"></path></g></g><g data-mml-node="mo" data-latex="(" transform="translate(2055.8,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(2444.8,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g></svg><mjx-break size="3"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="6.6ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 2917.2 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\sigma(x) = 1/(1+\exp(-x))"><g data-mml-node="mo" data-latex="+"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="mi" data-latex="\exp" transform="translate(1000.2,0)"><path data-c="65" d="M415 251C415 366 348 448 236 448 176 448 126 425 85 378 47 334 28 281 28 220 28 157 49 104 91 58 133 12 185-11 247-11 304-11 348 9 378 48 403 81 415 105 415 121 415 131 409 136 398 136 390 136 385 131 382 120 360 54 317 21 253 21 208 21 173 42 146 85 127 116 118 163 117 227L387 227C409 227 415 229 415 251M326 349C337 316 342 284 342 255L118 255C121 321 138 366 168 389 193 409 215 419 236 419 281 419 311 396 326 349Z"></path><path data-c="78" d="M418 3C441 4 474 3 516 0L516 38C463 38 443 39 422 67L292 235C335 288 364 324 380 343 408 375 447 392 498 393L498 431C470 429 442 428 414 428 377 428 344 429 315 431L315 393C334 391 344 382 344 366 344 357 339 346 330 334L272 262 198 357C193 364 190 369 190 372 190 385 202 392 225 393L225 431 114 428C88 427 56 428 17 431L17 393C53 393 76 390 86 385 96 380 112 363 134 334L229 210C180 147 150 109 139 96 107 57 65 38 12 38L12 0C49 3 77 4 98 3L195 0 195 38C176 41 167 50 167 65 167 69 168 74 170 79 176 92 203 126 251 183L323 89C334 75 340 65 343 59 343 46 331 39 307 38L307 0Z" transform="translate(444,0)"></path><path data-c="70" d="M298-13C360-13 413 9 456 54 499 99 521 152 521 215 521 276 501 328 462 372 421 419 371 442 311 442 260 442 216 422 178 383L178 442 28 431 28 393C65 393 87 391 94 386 101 381 105 368 105 347L105-115C105-134 101-146 94-150 87-154 65-155 28-155L28-194 142-191 257-194 257-155C220-155 199-154 192-150 185-146 181-134 181-115L181 44C203 13 246-13 298-13M304 409C345 409 377 386 402 340 421 301 431 260 431 215 431 168 420 125 398 86 372 39 337 16 294 16 252 16 219 36 194 75 185 88 181 101 181 114L181 333C210 384 251 409 304 409Z" transform="translate(972,0)"></path></g><g data-mml-node="mo" transform="translate(2528.2,0)"><path data-c="2061" d=""></path></g><g data-mml-node="mo" data-latex="(" transform="translate(2528.2,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g></g></g></svg><mjx-break size="0"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="4.814ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 2128 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\sigma(x) = 1/(1+\exp(-x))"><g data-mml-node="mo" data-latex="-"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="mi" data-latex="x" transform="translate(778,0)"><path data-c="1D465" d="M527 373C527 419 482 442 432 442 389 442 355 419 329 373 308 419 273 442 222 442 173 442 133 419 101 374 74 335 60 306 60 287 60 278 65 273 75 273 84 273 90 278 92 287 111 345 153 413 220 413 253 413 269 392 269 351 269 330 251 252 216 118 199 51 169 18 126 18 112 18 99 21 88 26 114 36 127 54 127 80 127 106 114 119 87 119 54 119 29 91 29 58 29 12 76-11 125-11 167-11 201 12 228 58 247 12 283-11 335-11 383-11 423 12 455 57 482 96 496 125 496 144 496 153 491 158 481 158 472 158 467 153 464 144 447 87 402 18 337 18 304 18 287 38 287 79 287 92 292 120 303 165L337 300C356 375 387 413 431 413 445 413 458 410 469 405 442 396 429 378 429 351 429 325 443 312 470 312 502 312 527 341 527 373Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1350,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1739,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></svg></mjx-container> 为 Sigmoid 函数，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.667ex" xmlns="http://www.w3.org/2000/svg" width="1.817ex" height="2.237ex" role="img" focusable="false" viewBox="0 -694 803.3 989"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="b_j"><g data-mml-node="msub" data-latex="b_j"><g data-mml-node="mi" data-latex="b"><path data-c="1D44F" d="M281 445C245 445 209 428 174 394L243 679C241 688 238 694 226 694 193 694 120 685 107 684 92 682 84 675 84 660 84 650 93 645 112 645 131 645 157 646 157 632 157 628 152 608 143 571L63 249C52 207 47 173 47 148 47 62 93-11 175-11 240-11 297 22 347 89 392 151 415 216 415 283 415 370 364 445 281 445M279 415C318 415 337 385 337 326 337 299 331 263 319 218 297 133 268 75 233 44 213 27 194 19 175 19 134 19 114 51 114 115 114 137 119 170 129 214L151 304C154 319 159 330 165 338 204 389 242 415 279 415Z"></path></g><g data-mml-node="mi" transform="translate(462,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></svg></mjx-container> 为隐藏单元<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.464ex" xmlns="http://www.w3.org/2000/svg" width="0.932ex" height="1.959ex" role="img" focusable="false" viewBox="0 -661 412 866"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="j"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></svg></mjx-container> 的偏置项。同理，给定隐藏单元状态<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="1.446ex" height="1.57ex" role="img" focusable="false" viewBox="0 -694 639 694"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{h}"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g></g></g></svg></mjx-container> 时，可见单元<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.357ex" xmlns="http://www.w3.org/2000/svg" width="1.837ex" height="1.357ex" role="img" focusable="false" viewBox="0 -442 812 599.8"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="v_i"><g data-mml-node="msub" data-latex="v_i"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g></g></g></svg></mjx-container> 的条件概率为：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:54.679ex"><svg style="vertical-align:-3.158ex;min-width:54.679ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="7.447ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1895.8)"><g data-mml-node="math" data-latex="
p(v_i=1|\mathbf{h}) = \sigma\left(\sum_{j=1}^P W_{ij}h_j + \sum_{k \neq i}^D L_{ik}v_k + a_i\right)
"><g data-mml-node="mtable" data-latex="
p(v_i=1|\mathbf{h}) = \sigma\left(\sum_{j=1}^P W_{ij}h_j + \sum_{k \neq i}^D L_{ik}v_k + a_i\right)
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1895.8) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="10006.1 -1895.8 1 3291.6"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr"><g data-mml-node="mtd"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(503,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(892,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex="=" transform="translate(1981.7,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(3037.5,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex="|" transform="translate(3537.5,0)"><path data-c="7C" d="M139-250C152-250 159-242 159-226L159 726C159 742 152 750 139 750 126 750 119 742 119 726L119-226C119-242 126-250 139-250Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(3815.5,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4454.5,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(5121.3,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mi" data-latex="\sigma" transform="translate(6177.1,0)"><path data-c="1D70E" d="M525 431 300 431C252 431 207 416 166 385 102 336 38 250 38 148 38 58 100-11 190-11 257-11 317 18 368 76 417 132 441 194 441 263 441 304 432 338 414 366L515 366C550 366 567 378 567 403 567 426 550 431 525 431M107 121C107 180 121 234 150 282 184 338 228 366 283 366 341 366 370 336 370 275 370 250 365 221 355 187 335 116 302 66 256 39 233 25 211 18 191 18 136 18 107 63 107 121Z"></path></g><g data-mml-node="mrow" data-latex-item="\left(\sum_{j=1}^P W_{ij}h_j + \sum_{k \neq i}^D L_{ik}v_k + a_i\right)" data-latex="\left(\sum_{j=1}^P W_{ij}h_j + \sum_{k \neq i}^D L_{ik}v_k + a_i\right)" transform="translate(6914.7,0)"><g data-mml-node="mo" data-latex-item="\left(" data-latex="\left("><path data-c="239B" d="M813 1450C820 1455 823 1462 823 1470 823 1487 815 1495 798 1495 793 1495 788 1493 784 1490 697 1423 614 1324 536 1192 399 956 277 603 277 253L277 0 385 0 385 253C385 407 403 562 438 719 500 999 630 1313 813 1450Z" transform="translate(0,400.8)"></path><path data-c="239D" d="M798 0C815 0 823 8 823 25 823 34 819 40 812 44 731 106 658 202 592 334 474 569 385 903 385 1242L385 1495 277 1495 277 1242C277 914 388 575 512 345 594 193 685 80 784 5 788 2 793 0 798 0Z" transform="translate(0,-1395.8)"></path><svg width="875" height="501.6" y="-0.8" x="0" viewBox="0 125.4 875 501.6"><path data-c="239C" d="M277 0 385 0 385 498 277 498Z" transform="scale(1,1.511)"></path></svg></g><g data-mml-node="munderover" data-latex="\sum_{j=1}^P" transform="translate(875,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(124.5,-1087.9) scale(0.707)" data-latex="{j=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(412,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1190,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(455.4,1150) scale(0.707)" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g><g data-mml-node="msub" data-latex="W_{i j}" transform="translate(2485.7,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(4047.9,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="+" transform="translate(5220.5,0)"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{k\neq i}^D" transform="translate(6220.7,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(140.8,-1133.2) scale(0.707)" data-latex="{k\neq i}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g><g data-mml-node="mo" data-latex="\neq" transform="translate(521,0)"><path data-c="2260" d="M698 178 388 178 440 322 698 322C714 322 722 330 722 346 722 362 714 370 698 370L458 370 576 698C578 701 579 703 579 706 579 722 571 730 555 730 542 730 535 725 532 714L407 370 80 370C64 370 56 362 56 346 56 330 64 322 80 322L390 322 338 178 80 178C64 178 56 170 56 154 56 138 64 130 80 130L320 130 201-198C200-200 200-203 200-206 200-222 208-230 224-230 236-230 243-225 246-214L371 130 698 130C714 130 722 138 722 154 722 166 711 178 698 178Z"></path></g><g data-mml-node="mi" data-latex="i" transform="translate(1299,0)"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mi" transform="translate(429.3,1150) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g><g data-mml-node="msub" data-latex="L_{i k}" transform="translate(7831.4,0)"><g data-mml-node="mi" data-latex="L"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g><g data-mml-node="TeXAtom" transform="translate(714,-150) scale(0.707)" data-latex="{i k}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="k" transform="translate(345,0)"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g></g><g data-mml-node="msub" data-latex="v_k" transform="translate(9207.7,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g><g data-mml-node="mo" data-latex="+" transform="translate(10366.4,0)"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="msub" data-latex="a_i" transform="translate(11366.6,0)"><g data-mml-node="mi" data-latex="a"><path data-c="1D44E" d="M498 144C498 153 493 158 482 158 474 158 468 151 465 137 445 58 421 18 394 18 377 18 368 32 368 60 368 73 372 97 381 132L438 357C443 376 445 387 445 392 445 412 434 422 412 422 391 422 377 410 370 387 349 424 319 442 281 442 216 442 159 409 109 343 63 281 40 217 40 150 40 63 91-11 175-11 218-11 260 12 300 58 311 20 345-11 392-11 461-11 482 70 498 144M341 374C350 353 355 339 355 330 355 326 354 321 353 314L304 122C301 111 294 99 285 87 248 41 212 18 177 18 138 18 118 48 118 107 118 131 124 167 136 215 157 300 187 357 224 388 244 405 263 413 282 413 309 413 329 400 341 374Z"></path></g><g data-mml-node="mi" transform="translate(562,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex-item="\right)" data-latex="\right)" transform="translate(12222.5,0)"><path data-c="239E" d="M490 0 598 0 598 253C598 581 487 920 363 1150 281 1301 190 1415 91 1490 87 1493 82 1495 77 1495 60 1495 52 1487 52 1470 52 1462 55 1455 62 1450 143 1389 216 1292 283 1160 402 924 490 593 490 253Z" transform="translate(0,400.8)"></path><path data-c="23A0" d="M598 1242 598 1495 490 1495 490 1242C490 1088 472 933 437 776 375 494 246 184 63 44 56 40 52 34 52 25 52 8 60 0 77 0 82 0 87 2 91 5 178 71 261 170 339 303 477 539 598 892 598 1242Z" transform="translate(0,-1395.8)"></path><svg width="875" height="501.6" y="-0.8" x="0" viewBox="0 125.4 875 501.6"><path data-c="239F" d="M490 0 598 0 598 498 490 498Z" transform="scale(1,1.511)"></path></svg></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1895.8 1 3291.6"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:5"><g data-mml-node="mtext" data-latex="\text{(5)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="35" d="M118 315C123 315 129 319 134 326 164 371 205 393 257 393 292 393 319 373 337 332 348 305 354 264 354 209 354 146 346 102 331 76 306 35 272 14 229 14 162 14 109 62 91 114 94 113 96 114 100 114 130 114 155 137 155 167 155 198 130 219 100 219 65 219 50 200 50 163 50 63 131-22 231-22 292-22 344 0 386 44 428 88 449 141 449 202 449 260 432 310 398 353 361 400 315 423 259 423 212 423 171 408 138 378L138 556C165 548 191 544 218 544 264 544 304 555 338 578 369 597 390 616 402 634 408 642 411 648 411 651 411 661 406 666 396 666 341 645 294 634 256 634 211 634 168 643 127 662 122 664 118 665 114 665 105 665 100 656 100 637L100 345C100 324 100 315 118 315Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.357ex" xmlns="http://www.w3.org/2000/svg" width="1.937ex" height="1.357ex" role="img" focusable="false" viewBox="0 -442 856 599.8"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="a_i"><g data-mml-node="msub" data-latex="a_i"><g data-mml-node="mi" data-latex="a"><path data-c="1D44E" d="M498 144C498 153 493 158 482 158 474 158 468 151 465 137 445 58 421 18 394 18 377 18 368 32 368 60 368 73 372 97 381 132L438 357C443 376 445 387 445 392 445 412 434 422 412 422 391 422 377 410 370 387 349 424 319 442 281 442 216 442 159 409 109 343 63 281 40 217 40 150 40 63 91-11 175-11 218-11 260 12 300 58 311 20 345-11 392-11 461-11 482 70 498 144M341 374C350 353 355 339 355 330 355 326 354 321 353 314L304 122C301 111 294 99 285 87 248 41 212 18 177 18 138 18 118 48 118 107 118 131 124 167 136 215 157 300 187 357 224 388 244 405 263 413 282 413 309 413 329 400 341 374Z"></path></g><g data-mml-node="mi" transform="translate(562,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g></g></g></svg></mjx-container> 为可见单元<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.025ex" xmlns="http://www.w3.org/2000/svg" width="0.781ex" height="1.52ex" role="img" focusable="false" viewBox="0 -661 345 672"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="i"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g></g></svg></mjx-container> 的偏置项。</p></div><div class="story post-story"><h2 id="受限玻尔兹曼机（RBM）：简化与高效训练"><a href="#受限玻尔兹曼机（RBM）：简化与高效训练" class="headerlink" title="受限玻尔兹曼机（RBM）：简化与高效训练"></a>受限玻尔兹曼机（RBM）：简化与高效训练</h2><h3 id="结构限制与能量函数"><a href="#结构限制与能量函数" class="headerlink" title="结构限制与能量函数"></a>结构限制与能量函数</h3><p>受限玻尔兹曼机通过限制同层单元间的连接（即<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.541ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 681 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="L=0"><g data-mml-node="mi" data-latex="L"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.52ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1555.8 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="L=0"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(1055.8,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g></g></g></svg></mjx-container> 且<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.432ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 633 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="J=0"><g data-mml-node="mi" data-latex="J"><path data-c="1D43D" d="M633 667C633 678 627 683 615 683 596 683 525 680 506 680L361 683C344 683 336 675 336 659 336 649 349 644 374 644 419 644 446 642 453 637 456 635 457 632 457 627 457 624 456 617 454 607L340 153C324 89 273 8 202 8 157 8 128 25 114 60L120 60C156 60 188 91 188 127 188 158 172 173 141 173 97 173 71 134 71 90 71 20 132-22 205-22 255-22 301-6 344 26 387 58 415 97 427 144L542 606C551 642 555 644 602 644 623 644 633 646 633 667Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.52ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1555.8 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="J=0"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(1055.8,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g></g></g></svg></mjx-container> ），将能量函数简化为：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:58.12ex"><svg style="vertical-align:-2.903ex;min-width:58.12ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="6.936ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1782.9)"><g data-mml-node="math" data-latex="
E_{\theta}(\mathbf{v}, \mathbf{h}) = -\sum_{i=1}^D a_i v_i - \sum_{j=1}^P b_j h_j - \sum_{i=1}^D \sum_{j=1}^P W_{ij} v_i h_j
"><g data-mml-node="mtable" data-latex="
E_{\theta}(\mathbf{v}, \mathbf{h}) = -\sum_{i=1}^D a_i v_i - \sum_{j=1}^P b_j h_j - \sum_{i=1}^D \sum_{j=1}^P W_{ij} v_i h_j
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1782.9) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="10766.6 -1782.9 1 3065.8"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,50)"><g data-mml-node="mtd"><g data-mml-node="msub" data-latex="E_{\theta}"><g data-mml-node="mi" data-latex="E"><path data-c="1D438" d="M199 656C199 646 210 641 231 641 271 641 291 637 291 628 291 625 289 618 286 605L156 82C151 60 141 47 126 42 119 40 101 39 70 39 48 39 38 37 38 16 38 5 49 0 70 0L583 0C607 0 609 2 617 19L657 109C684 171 703 217 714 248 712 257 709 263 698 263 691 263 685 258 681 249 656 190 632 145 608 113 568 59 509 39 415 39L270 39C260 39 253 39 249 40 243 40 240 42 240 45 240 47 242 54 245 67L311 334 406 334C453 334 478 328 483 315 485 310 486 303 486 293 486 280 484 264 479 245 477 240 476 236 476 233 476 223 482 218 493 218 502 218 508 226 512 241L568 473C568 483 563 488 552 488 544 488 538 481 535 467 525 428 512 403 495 391 478 379 450 373 409 373L321 373 379 606C387 640 387 641 429 641L568 641C619 641 654 636 673 626 701 611 715 581 715 536 715 519 714 501 711 484 711 482 711 479 710 475L710 466C710 455 715 450 725 450 735 450 741 459 743 478L763 649C766 677 759 680 732 680L233 680C210 680 199 679 199 656Z"></path></g><g data-mml-node="TeXAtom" transform="translate(771,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(1152.6,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(1541.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(2148.6,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(2593.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(3232.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(3899.1,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(4954.9,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{i=1}^D" transform="translate(5899.5,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(148.2,-1087.9) scale(0.707)" data-latex="{i=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(345,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1123,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(429.3,1150) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g><g data-mml-node="msub" data-latex="a_i" transform="translate(7510.2,0)"><g data-mml-node="mi" data-latex="a"><path data-c="1D44E" d="M498 144C498 153 493 158 482 158 474 158 468 151 465 137 445 58 421 18 394 18 377 18 368 32 368 60 368 73 372 97 381 132L438 357C443 376 445 387 445 392 445 412 434 422 412 422 391 422 377 410 370 387 349 424 319 442 281 442 216 442 159 409 109 343 63 281 40 217 40 150 40 63 91-11 175-11 218-11 260 12 300 58 311 20 345-11 392-11 461-11 482 70 498 144M341 374C350 353 355 339 355 330 355 326 354 321 353 314L304 122C301 111 294 99 285 87 248 41 212 18 177 18 138 18 118 48 118 107 118 131 124 167 136 215 157 300 187 357 224 388 244 405 263 413 282 413 309 413 329 400 341 374Z"></path></g><g data-mml-node="mi" transform="translate(562,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="v_i" transform="translate(8366.1,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex="-" transform="translate(9400.3,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{j=1}^P" transform="translate(10400.5,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(124.5,-1087.9) scale(0.707)" data-latex="{j=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(412,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1190,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(455.4,1150) scale(0.707)" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g><g data-mml-node="msub" data-latex="b_j" transform="translate(12011.2,0)"><g data-mml-node="mi" data-latex="b"><path data-c="1D44F" d="M281 445C245 445 209 428 174 394L243 679C241 688 238 694 226 694 193 694 120 685 107 684 92 682 84 675 84 660 84 650 93 645 112 645 131 645 157 646 157 632 157 628 152 608 143 571L63 249C52 207 47 173 47 148 47 62 93-11 175-11 240-11 297 22 347 89 392 151 415 216 415 283 415 370 364 445 281 445M279 415C318 415 337 385 337 326 337 299 331 263 319 218 297 133 268 75 233 44 213 27 194 19 175 19 134 19 114 51 114 115 114 137 119 170 129 214L151 304C154 319 159 330 165 338 204 389 242 415 279 415Z"></path></g><g data-mml-node="mi" transform="translate(462,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(12814.5,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="-" transform="translate(13987.1,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{i=1}^D" transform="translate(14987.3,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(148.2,-1087.9) scale(0.707)" data-latex="{i=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(345,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1123,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(429.3,1150) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g><g data-mml-node="munderover" data-latex="\sum_{j=1}^P" transform="translate(16598,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(124.5,-1087.9) scale(0.707)" data-latex="{j=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(412,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1190,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(455.4,1150) scale(0.707)" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g><g data-mml-node="msub" data-latex="W_{i j}" transform="translate(18208.6,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g><g data-mml-node="msub" data-latex="v_i" transform="translate(19770.9,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(20582.9,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1782.9 1 3065.8"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:6" transform="translate(0,798)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(6)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="36" d="M383 504C416 504 432 521 432 555 432 627 378 666 304 666 221 666 155 627 106 548 63 480 42 403 42 316 42 189 65 100 112 47 152 1 198-22 251-22 312-22 362 1 401 47 438 91 457 144 457 205 457 266 439 318 403 361 365 407 316 431 257 431 205 431 165 402 138 346L138 352C138 465 166 561 226 605 252 624 279 633 306 633 342 633 368 623 385 602 351 602 334 583 334 553 334 525 355 504 383 504M344 340C355 317 361 272 361 206 361 141 356 98 345 76 325 35 294 14 251 14 222 14 200 24 184 44 171 60 162 74 158 85 146 116 140 163 140 227 140 255 144 282 151 308 164 355 201 399 256 399 295 399 325 379 344 340Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.061ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 469 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\theta = \{W, a, b\}"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="11.202ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 4951.1 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\theta = \{W, a, b\}"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mo" data-latex="\{" transform="translate(1055.8,0)"><path data-c="7B" d="M286-122 286 126C286 183 251 225 182 250 251 275 286 317 286 374L286 622C286 680 348 718 409 718 420 718 425 723 425 734 425 745 420 750 409 750 363 750 321 740 284 721 237 697 214 664 214 622L214 374C214 311 154 266 91 266 80 266 75 261 75 250 75 239 80 234 91 234 155 234 214 188 214 126L214-122C214-164 237-197 284-221 321-240 363-250 409-250 420-250 425-245 425-234 425-223 420-218 409-218 348-218 286-180 286-122Z"></path></g><g data-mml-node="mi" data-latex="W" transform="translate(1555.8,0)"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(2603.8,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mi" data-latex="a" transform="translate(3048.4,0)"><path data-c="1D44E" d="M498 144C498 153 493 158 482 158 474 158 468 151 465 137 445 58 421 18 394 18 377 18 368 32 368 60 368 73 372 97 381 132L438 357C443 376 445 387 445 392 445 412 434 422 412 422 391 422 377 410 370 387 349 424 319 442 281 442 216 442 159 409 109 343 63 281 40 217 40 150 40 63 91-11 175-11 218-11 260 12 300 58 311 20 345-11 392-11 461-11 482 70 498 144M341 374C350 353 355 339 355 330 355 326 354 321 353 314L304 122C301 111 294 99 285 87 248 41 212 18 177 18 138 18 118 48 118 107 118 131 124 167 136 215 157 300 187 357 224 388 244 405 263 413 282 413 309 413 329 400 341 374Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(3577.4,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mi" data-latex="b" transform="translate(4022.1,0)"><path data-c="1D44F" d="M281 445C245 445 209 428 174 394L243 679C241 688 238 694 226 694 193 694 120 685 107 684 92 682 84 675 84 660 84 650 93 645 112 645 131 645 157 646 157 632 157 628 152 608 143 571L63 249C52 207 47 173 47 148 47 62 93-11 175-11 240-11 297 22 347 89 392 151 415 216 415 283 415 370 364 445 281 445M279 415C318 415 337 385 337 326 337 299 331 263 319 218 297 133 268 75 233 44 213 27 194 19 175 19 134 19 114 51 114 115 114 137 119 170 129 214L151 304C154 319 159 330 165 338 204 389 242 415 279 415Z"></path></g><g data-mml-node="mo" data-latex="\}" transform="translate(4451.1,0)"><path data-c="7D" d="M286 374 286 622C286 664 263 697 216 721 179 740 137 750 91 750 80 750 75 745 75 734 75 723 80 718 91 718 152 718 214 680 214 622L214 374C214 317 249 275 318 250 249 225 214 183 214 126L214-122C214-180 152-218 91-218 80-218 75-223 75-234 75-245 80-250 91-250 137-250 179-240 216-221 263-197 286-164 286-122L286 126C286 188 345 234 409 234 420 234 425 239 425 250 425 261 420 266 409 266 345 266 286 312 286 374Z"></path></g></g></g></svg></mjx-container> ，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.197ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 529 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="a \in \mathbb{R}^D"><g data-mml-node="mi" data-latex="a"><path data-c="1D44E" d="M498 144C498 153 493 158 482 158 474 158 468 151 465 137 445 58 421 18 394 18 377 18 368 32 368 60 368 73 372 97 381 132L438 357C443 376 445 387 445 392 445 412 434 422 412 422 391 422 377 410 370 387 349 424 319 442 281 442 216 442 159 409 109 343 63 281 40 217 40 150 40 63 91-11 175-11 218-11 260 12 300 58 311 20 345-11 392-11 461-11 482 70 498 144M341 374C350 353 355 339 355 330 355 326 354 321 353 314L304 122C301 111 294 99 285 87 248 41 212 18 177 18 138 18 118 48 118 107 118 131 124 167 136 215 157 300 187 357 224 388 244 405 263 413 282 413 309 413 329 400 341 374Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="5.283ex" height="2.48ex" role="img" focusable="false" viewBox="0 -846 2335.3 1096"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="a \in \mathbb{R}^D"><g data-mml-node="mo" data-latex="\in"><path data-c="2208" d="M563 4 373 4C310 4 254 25 208 68 162 111 136 163 130 226L563 226C579 226 587 234 587 250 587 266 579 274 563 274L130 274C136 337 162 389 208 432 254 475 310 496 373 496L563 496C579 496 587 504 587 519 587 535 579 543 563 543L373 543C292 543 223 515 166 458 109 401 81 332 81 250 81 168 109 99 166 42 223-15 292-43 373-43L563-43C579-43 587-35 587-19 587-7 576 4 563 4Z"></path></g><g data-mml-node="msup" data-latex="\mathbb{R}^D" transform="translate(944.8,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{R}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="R"><path data-c="211D" d="M104 590 104 95C104 45 99 43 47 43 26 43 16 36 16 22 16 4 31 0 54 0L324 0C349 0 361 7 361 22 361 36 350 43 329 43 277 43 273 45 273 95L273 310 302 310 450 83C475 43 490 20 494 14 500 5 512 0 530 0L666 0C691 0 703 7 703 22 703 33 697 40 685 42 660 47 625 82 579 146 534 208 494 267 459 322 573 344 630 402 630 496 630 563 600 613 540 644 488 671 429 685 364 685L54 685C29 685 16 678 16 663 16 649 26 642 47 642 99 642 104 640 104 590M535 597C570 576 587 542 587 496 587 427 547 385 468 368 485 396 494 438 494 495 494 552 483 596 462 629 487 622 512 612 535 597M452 495C452 433 441 394 419 378 397 362 348 353 273 353L273 593C273 630 287 642 330 642 425 642 452 595 452 495M413 316C496 184 561 93 610 43L525 43 352 311C357 312 361 312 364 312 378 312 394 313 413 316M140 642 240 642C234 631 231 616 231 596L231 93C231 72 233 55 237 43L140 43C144 55 146 72 146 93L146 592C146 613 144 630 140 642Z"></path></g></g><g data-mml-node="mi" transform="translate(755,363) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g></g></g></svg></mjx-container> 为可见单元偏置，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="0.971ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 429 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="b \in \mathbb{R}^P"><g data-mml-node="mi" data-latex="b"><path data-c="1D44F" d="M281 445C245 445 209 428 174 394L243 679C241 688 238 694 226 694 193 694 120 685 107 684 92 682 84 675 84 660 84 650 93 645 112 645 131 645 157 646 157 632 157 628 152 608 143 571L63 249C52 207 47 173 47 148 47 62 93-11 175-11 240-11 297 22 347 89 392 151 415 216 415 283 415 370 364 445 281 445M279 415C318 415 337 385 337 326 337 299 331 263 319 218 297 133 268 75 233 44 213 27 194 19 175 19 134 19 114 51 114 115 114 137 119 170 129 214L151 304C154 319 159 330 165 338 204 389 242 415 279 415Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="5.165ex" height="2.48ex" role="img" focusable="false" viewBox="0 -846 2282.9 1096"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="b \in \mathbb{R}^P"><g data-mml-node="mo" data-latex="\in"><path data-c="2208" d="M563 4 373 4C310 4 254 25 208 68 162 111 136 163 130 226L563 226C579 226 587 234 587 250 587 266 579 274 563 274L130 274C136 337 162 389 208 432 254 475 310 496 373 496L563 496C579 496 587 504 587 519 587 535 579 543 563 543L373 543C292 543 223 515 166 458 109 401 81 332 81 250 81 168 109 99 166 42 223-15 292-43 373-43L563-43C579-43 587-35 587-19 587-7 576 4 563 4Z"></path></g><g data-mml-node="msup" data-latex="\mathbb{R}^P" transform="translate(944.8,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{R}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="R"><path data-c="211D" d="M104 590 104 95C104 45 99 43 47 43 26 43 16 36 16 22 16 4 31 0 54 0L324 0C349 0 361 7 361 22 361 36 350 43 329 43 277 43 273 45 273 95L273 310 302 310 450 83C475 43 490 20 494 14 500 5 512 0 530 0L666 0C691 0 703 7 703 22 703 33 697 40 685 42 660 47 625 82 579 146 534 208 494 267 459 322 573 344 630 402 630 496 630 563 600 613 540 644 488 671 429 685 364 685L54 685C29 685 16 678 16 663 16 649 26 642 47 642 99 642 104 640 104 590M535 597C570 576 587 542 587 496 587 427 547 385 468 368 485 396 494 438 494 495 494 552 483 596 462 629 487 622 512 612 535 597M452 495C452 433 441 394 419 378 397 362 348 353 273 353L273 593C273 630 287 642 330 642 425 642 452 595 452 495M413 316C496 184 561 93 610 43L525 43 352 311C357 312 361 312 364 312 378 312 394 313 413 316M140 642 240 642C234 631 231 616 231 596L231 93C231 72 233 55 237 43L140 43C144 55 146 72 146 93L146 592C146 613 144 630 140 642Z"></path></g></g><g data-mml-node="mi" transform="translate(755,363) scale(0.707)" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g></g></g></svg></mjx-container> 为隐藏单元偏置。这一结构使得可见单元在给定隐藏单元时条件独立，反之亦然，大幅简化了条件概率计算：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:42.846ex"><svg style="vertical-align:-2.817ex;min-width:42.846ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="6.765ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1745)"><g data-mml-node="math" data-latex="
p(h_j=1|\mathbf{v}) = \sigma\left(b_j + \sum_{i=1}^D W_{ij} v_i\right)
"><g data-mml-node="mtable" data-latex="
p(h_j=1|\mathbf{v}) = \sigma\left(b_j + \sum_{i=1}^D W_{ij} v_i\right)
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1745) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="7390.9 -1745 1 2990"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr"><g data-mml-node="mtd"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(503,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="msub" data-latex="h_j" transform="translate(892,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="=" transform="translate(2120.1,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(3175.9,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex="|" transform="translate(3675.9,0)"><path data-c="7C" d="M139-250C152-250 159-242 159-226L159 726C159 742 152 750 139 750 126 750 119 742 119 726L119-226C119-242 126-250 139-250Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(3953.9,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4560.9,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(5227.7,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mi" data-latex="\sigma" transform="translate(6283.4,0)"><path data-c="1D70E" d="M525 431 300 431C252 431 207 416 166 385 102 336 38 250 38 148 38 58 100-11 190-11 257-11 317 18 368 76 417 132 441 194 441 263 441 304 432 338 414 366L515 366C550 366 567 378 567 403 567 426 550 431 525 431M107 121C107 180 121 234 150 282 184 338 228 366 283 366 341 366 370 336 370 275 370 250 365 221 355 187 335 116 302 66 256 39 233 25 211 18 191 18 136 18 107 63 107 121Z"></path></g><g data-mml-node="mrow" data-latex-item="\left(b_j + \sum_{i=1}^D W_{ij} v_i\right)" data-latex="\left(b_j + \sum_{i=1}^D W_{ij} v_i\right)" transform="translate(7021.1,0)"><g data-mml-node="mo" data-latex-item="\left(" data-latex="\left("><path data-c="28" d="M798-1245C815-1245 823-1237 823-1220 823-1212 820-1205 813-1200 732-1139 659-1043 592-910 473-673 385-340 385 1L385 499C385 654 403 810 438 967 500 1247 630 1562 813 1700 820 1705 823 1712 823 1720 823 1737 815 1745 798 1745 793 1745 788 1743 784 1740 697 1673 614 1574 536 1441 398 1205 277 850 277 499L277 1C277-329 388-667 512-899 594-1050 685-1164 784-1240 788-1243 793-1245 798-1245Z"></path></g><g data-mml-node="msub" data-latex="b_j" transform="translate(875,0)"><g data-mml-node="mi" data-latex="b"><path data-c="1D44F" d="M281 445C245 445 209 428 174 394L243 679C241 688 238 694 226 694 193 694 120 685 107 684 92 682 84 675 84 660 84 650 93 645 112 645 131 645 157 646 157 632 157 628 152 608 143 571L63 249C52 207 47 173 47 148 47 62 93-11 175-11 240-11 297 22 347 89 392 151 415 216 415 283 415 370 364 445 281 445M279 415C318 415 337 385 337 326 337 299 331 263 319 218 297 133 268 75 233 44 213 27 194 19 175 19 134 19 114 51 114 115 114 137 119 170 129 214L151 304C154 319 159 330 165 338 204 389 242 415 279 415Z"></path></g><g data-mml-node="mi" transform="translate(462,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="+" transform="translate(1900.6,0)"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{i=1}^D" transform="translate(2900.8,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(148.2,-1087.9) scale(0.707)" data-latex="{i=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(345,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1123,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(429.3,1150) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g><g data-mml-node="msub" data-latex="W_{i j}" transform="translate(4511.4,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g><g data-mml-node="msub" data-latex="v_i" transform="translate(6073.7,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex-item="\right)" data-latex="\right)" transform="translate(6885.7,0)"><path data-c="29" d="M598 1 598 499C598 829 487 1167 363 1399 281 1550 190 1664 91 1740 87 1743 82 1745 77 1745 60 1745 52 1737 52 1720 52 1712 55 1705 62 1700 143 1639 216 1543 283 1410 402 1173 490 840 490 499L490 1C490-154 472-310 437-467 375-747 245-1062 62-1200 55-1205 52-1212 52-1220 52-1237 60-1245 77-1245 82-1245 87-1243 91-1240 178-1173 261-1074 339-941 477-705 598-350 598 1Z"></path></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1745 1 2990"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:7"><g data-mml-node="mtext" data-latex="\text{(7)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="37" d="M475 604C482 613 485 626 485 644L243 644C174 644 135 648 128 657 125 660 122 667 120 676L89 676 55 464 88 464C98 520 106 550 112 555 115 558 146 560 205 560L401 560 295 410C214 295 174 171 174 36 174-3 190-22 223-22 256-22 272-3 272 36L272 87C272 239 296 349 343 416Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:43.037ex"><svg style="vertical-align:-2.916ex;min-width:43.037ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="6.964ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1788.9)"><g data-mml-node="math" data-latex="
p(v_i=1|\mathbf{h}) = \sigma\left(a_i + \sum_{j=1}^P W_{ij} h_j\right)
"><g data-mml-node="mtable" data-latex="
p(v_i=1|\mathbf{h}) = \sigma\left(a_i + \sum_{j=1}^P W_{ij} h_j\right)
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1788.9) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="7433.2 -1788.9 1 3077.9"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,43.9)"><g data-mml-node="mtd"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(503,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(892,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex="=" transform="translate(1981.7,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(3037.5,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex="|" transform="translate(3537.5,0)"><path data-c="7C" d="M139-250C152-250 159-242 159-226L159 726C159 742 152 750 139 750 126 750 119 742 119 726L119-226C119-242 126-250 139-250Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(3815.5,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4454.5,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(5121.3,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mi" data-latex="\sigma" transform="translate(6177.1,0)"><path data-c="1D70E" d="M525 431 300 431C252 431 207 416 166 385 102 336 38 250 38 148 38 58 100-11 190-11 257-11 317 18 368 76 417 132 441 194 441 263 441 304 432 338 414 366L515 366C550 366 567 378 567 403 567 426 550 431 525 431M107 121C107 180 121 234 150 282 184 338 228 366 283 366 341 366 370 336 370 275 370 250 365 221 355 187 335 116 302 66 256 39 233 25 211 18 191 18 136 18 107 63 107 121Z"></path></g><g data-mml-node="mrow" data-latex-item="\left(a_i + \sum_{j=1}^P W_{ij} h_j\right)" data-latex="\left(a_i + \sum_{j=1}^P W_{ij} h_j\right)" transform="translate(6914.7,0)"><g data-mml-node="mo" data-latex-item="\left(" data-latex="\left("><path data-c="28" d="M798-1245C815-1245 823-1237 823-1220 823-1212 820-1205 813-1200 732-1139 659-1043 592-910 473-673 385-340 385 1L385 499C385 654 403 810 438 967 500 1247 630 1562 813 1700 820 1705 823 1712 823 1720 823 1737 815 1745 798 1745 793 1745 788 1743 784 1740 697 1673 614 1574 536 1441 398 1205 277 850 277 499L277 1C277-329 388-667 512-899 594-1050 685-1164 784-1240 788-1243 793-1245 798-1245Z"></path></g><g data-mml-node="msub" data-latex="a_i" transform="translate(875,0)"><g data-mml-node="mi" data-latex="a"><path data-c="1D44E" d="M498 144C498 153 493 158 482 158 474 158 468 151 465 137 445 58 421 18 394 18 377 18 368 32 368 60 368 73 372 97 381 132L438 357C443 376 445 387 445 392 445 412 434 422 412 422 391 422 377 410 370 387 349 424 319 442 281 442 216 442 159 409 109 343 63 281 40 217 40 150 40 63 91-11 175-11 218-11 260 12 300 58 311 20 345-11 392-11 461-11 482 70 498 144M341 374C350 353 355 339 355 330 355 326 354 321 353 314L304 122C301 111 294 99 285 87 248 41 212 18 177 18 138 18 118 48 118 107 118 131 124 167 136 215 157 300 187 357 224 388 244 405 263 413 282 413 309 413 329 400 341 374Z"></path></g><g data-mml-node="mi" transform="translate(562,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex="+" transform="translate(1953.2,0)"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{j=1}^P" transform="translate(2953.4,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(124.5,-1087.9) scale(0.707)" data-latex="{j=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(412,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1190,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(455.4,1150) scale(0.707)" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g></g><g data-mml-node="msub" data-latex="W_{i j}" transform="translate(4564.1,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(6126.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex-item="\right)" data-latex="\right)" transform="translate(7076.7,0)"><path data-c="29" d="M598 1 598 499C598 829 487 1167 363 1399 281 1550 190 1664 91 1740 87 1743 82 1745 77 1745 60 1745 52 1737 52 1720 52 1712 55 1705 62 1700 143 1639 216 1543 283 1410 402 1173 490 840 490 499L490 1C490-154 472-310 437-467 375-747 245-1062 62-1200 55-1205 52-1212 52-1220 52-1237 60-1245 77-1245 82-1245 87-1243 91-1240 178-1173 261-1074 339-941 477-705 598-350 598 1Z"></path></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1788.9 1 3077.9"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:8" transform="translate(0,791.9)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(8)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="38" d="M250 666C201 666 158 650 122 618 86 586 68 546 68 497 68 456 83 419 113 386 120 378 142 361 179 335 88 288 42 227 42 153 42 100 64 57 107 24 147-7 194-22 249-22 305-22 354-4 395 32 436 68 457 115 457 170 457 216 441 257 408 294 396 307 365 330 316 361 393 402 431 454 431 515 431 606 344 666 250 666M379 515C379 463 348 418 286 381L167 459C136 479 120 505 120 536 120 596 185 633 249 633 318 633 379 584 379 515M250 14C168 14 99 73 99 153 99 220 136 274 210 315L328 240C376 209 400 174 400 134 400 62 325 14 250 14Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><h3 id="对比散度（CD）算法"><a href="#对比散度（CD）算法" class="headerlink" title="对比散度（CD）算法"></a>对比散度（CD）算法</h3><p>RBM 的训练目标是最大化训练数据的对数似然函数：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:31.498ex"><svg style="vertical-align:-2.747ex;min-width:31.498ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="6.626ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1714.3)"><g data-mml-node="math" data-latex="
\mathcal{L}(\theta) = \sum_{n=1}^N \log p_{\theta}(\mathbf{v}^{(n)})
"><g data-mml-node="mtable" data-latex="
\mathcal{L}(\theta) = \sum_{n=1}^N \log p_{\theta}(\mathbf{v}^{(n)})
" transform="translate(2078,0) translate(-2078,0)"><g transform="translate(0 1714.3) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="4883 -1714.3 1 2928.7"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,-18.6)"><g data-mml-node="mtd"><g data-mml-node="TeXAtom" data-latex="\mathcal{L}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="L"><path data-c="4C" d="M234 176C280 199 331 253 360 302 378 332 399 376 424 435 451 498 471 542 486 569 502 599 548 643 592 643 623 643 643 621 635 588 630 569 630 557 633 553 640 544 650 540 664 540L676 542C701 546 719 566 728 603 742 659 698 685 643 685 547 685 465 637 397 540 377 512 355 467 331 404 290 297 253 230 218 204 200 190 181 177 161 164 132 147 113 132 104 121 72 82 50 47 39 14L61-9C79 24 99 53 122 80 141 103 165 114 194 114 223 114 265 93 318 51 334 35 358 20 391 6 412-3 441-7 480-7 511-7 549 11 592 48 632 81 660 133 676 203 681 229 684 250 684 266L652 259C647 224 641 198 636 183 620 134 573 79 516 79 462 79 385 116 341 148 317 166 281 175 234 176Z"></path></g></g><g data-mml-node="mo" data-latex="(" transform="translate(770,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="\theta" transform="translate(1159,0)"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1628,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(2294.8,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{n=1}^N" transform="translate(3350.6,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(58,-1087.9) scale(0.707)" data-latex="{n=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="n"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(600,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1378,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(410.5,1150) scale(0.707)" data-latex="N"><path data-c="1D441" d="M864 683C845 683 783 680 764 680 745 680 682 683 663 683 648 683 641 675 641 659 641 650 648 645 663 644 705 644 726 631 726 605 726 599 725 592 724 585L616 157 401 662C393 681 391 683 366 683L233 683C209 683 200 681 200 659 200 649 211 644 232 644 274 644 295 643 296 640L163 110C154 71 131 49 95 42 69 39 39 43 39 15 39 5 45 0 56 0 74 0 136 3 155 3 174 3 238 0 257 0 272 0 279 8 279 24 279 33 271 38 255 39 214 40 194 53 194 78 194 83 195 90 197 100L326 611 576 21C582 7 590 0 599 0 608 0 614 8 618 24L757 574C770 625 798 643 860 644 874 645 881 653 881 669 878 678 877 683 864 683Z"></path></g></g><g data-mml-node="mi" data-latex="\log" transform="translate(4961.2,0)"><path data-c="6C" d="M144 3 255 0 255 39C219 39 197 40 190 44 183 48 180 60 180 79L180 694 33 683 33 645C68 645 90 642 97 636 104 630 108 616 108 593L108 79C108 60 105 48 98 44 91 40 69 39 33 39L33 0Z"></path><path data-c="6F" d="M249-11C311-11 363 11 406 55 449 99 471 152 471 214 471 277 450 332 408 378 366 424 313 448 250 448 187 448 135 424 92 378 49 332 28 277 28 214 28 152 49 99 92 55 135 11 188-11 249-11M250 21C202 21 166 42 141 85 125 113 117 159 117 222 117 283 125 327 140 355 164 398 200 419 249 419 296 419 332 398 357 357 374 329 382 284 382 222 382 106 348 21 250 21Z" transform="translate(278,0)"></path><path data-c="67" d="M431 453C393 453 358 438 326 408 296 431 262 442 223 442 137 442 59 378 59 294 59 252 74 218 104 192 85 168 75 141 75 110 75 72 88 43 113 24 71 10 28-26 28-77 28-120 56-154 111-178 153-197 199-206 249-206 300-206 347-197 389-178 444-154 471-120 471-75 471-22 449 17 405 42 359 67 308 70 234 70 190 70 166 70 161 71 133 75 113 102 113 133 113 148 117 162 126 174 154 155 186 145 223 145 309 145 386 209 386 293 386 332 373 364 347 389 372 412 399 423 428 423 423 418 420 410 420 400 420 378 431 367 453 367 474 367 485 378 485 401 485 432 461 453 431 453M223 411C277 411 304 372 304 294 304 215 277 175 223 175 168 175 141 214 141 293 141 372 168 411 223 411M164 4 222 4C274 4 316 1 348-6 391-15 412-39 412-77 412-109 392-134 352-153 321-168 287-175 250-175 214-175 180-168 148-153 107-134 87-109 87-77 87-35 123 4 164 4Z" transform="translate(778,0)"></path></g><g data-mml-node="mo" transform="translate(6239.2,0)"><path data-c="2061" d=""></path></g><g data-mml-node="msub" data-latex="p_{\theta}" transform="translate(6405.9,0)"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="TeXAtom" transform="translate(536,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(7323.5,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="msup" data-latex="\mathbf{v}^{(n)}" transform="translate(7712.5,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(640,413) scale(0.707)" data-latex="{(n)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="n" transform="translate(389,0)"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(989,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g><g data-mml-node="mo" data-latex=")" transform="translate(9376.9,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1278 -1714.3 1 2928.7"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:9" transform="translate(0,729.4)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(9)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="39" d="M116 140C83 140 67 123 67 89 67 14 128-22 207-22 287-22 351 18 398 99 437 166 457 243 457 329 457 456 434 546 388 599 349 644 304 666 253 666 194 666 145 645 106 602 63 557 42 503 42 440 42 379 60 327 96 284 134 238 183 215 242 215 294 215 334 243 361 299L361 286C361 177 342 103 303 63 272 30 239 14 206 14 166 14 137 23 118 42 149 42 165 60 165 91 165 119 144 140 116 140M243 246C204 246 175 266 155 306 144 329 138 374 138 439 138 504 145 548 158 573 180 613 212 633 253 633 294 633 324 608 343 558 354 531 361 485 361 420 361 333 322 246 243 246Z" transform="translate(389,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(889,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.009ex" xmlns="http://www.w3.org/2000/svg" width="3.766ex" height="2.027ex" role="img" focusable="false" viewBox="0 -891.9 1664.4 895.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v}^{(n)}"><g data-mml-node="msup" data-latex="\mathbf{v}^{(n)}"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(640,363) scale(0.707)" data-latex="{(n)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="n" transform="translate(389,0)"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(989,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg></mjx-container> 为第<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.025ex" xmlns="http://www.w3.org/2000/svg" width="1.357ex" height="1.025ex" role="img" focusable="false" viewBox="0 -442 600 453"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="n"><g data-mml-node="mi" data-latex="n"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g></g></g></svg></mjx-container> 个训练样本。对数似然的梯度为：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:54.429ex"><svg style="vertical-align:-2.191ex;min-width:54.429ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="5.513ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1468.5)"><g data-mml-node="math" data-latex="
\frac{\partial \log p_{\theta}(\mathbf{v})}{\partial W_{ij} } = \mathbb{E}_{p_{\text{data} } (\mathbf{h}|\mathbf{v})}[v_i h_j] - \mathbb{E}_{p_{\theta}(\mathbf{v}, \mathbf{h})}[v_i h_j]
"><g data-mml-node="mtable" data-latex="
\frac{\partial \log p_{\theta}(\mathbf{v})}{\partial W_{ij} } = \mathbb{E}_{p_{\text{data} } (\mathbf{h}|\mathbf{v})}[v_i h_j] - \mathbb{E}_{p_{\theta}(\mathbf{v}, \mathbf{h})}[v_i h_j]
" transform="translate(2578,0) translate(-2578,0)"><g transform="translate(0 1468.5) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="9450.9 -1468.5 1 2437"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,12.5)"><g data-mml-node="mtd"><g data-mml-node="mfrac" data-latex="\frac{\partial \log p_{\theta}(\mathbf{v})}{\partial W_{ij} }"><g data-mml-node="mrow" data-latex="\partial \log p_{\theta}(\mathbf{v})" transform="translate(220,708)"><g data-mml-node="mi" data-latex="\partial"><path data-c="1D715" d="M256 574C256 597 241 610 212 612 243 659 288 683 347 683 439 683 484 606 484 508 484 467 476 417 461 356 444 425 401 460 334 460 257 460 190 428 130 366 70 304 40 235 40 158 40 121 53 83 79 45 110 0 158-22 225-22 315-22 390 20 449 105 505 187 566 329 566 456 566 527 548 587 512 635 473 689 418 716 349 716 282 716 232 693 198 646 171 609 157 579 157 556 157 530 171 517 199 517 229 517 256 544 256 574M439 303C439 240 420 178 381 117 338 48 287 14 228 14 162 14 124 57 124 121 124 149 131 188 145 238 159 288 173 323 188 344 228 401 277 430 334 430 407 430 439 376 439 303Z"></path></g><g data-mml-node="mi" data-latex="\log" transform="translate(732.7,0)"><path data-c="6C" d="M144 3 255 0 255 39C219 39 197 40 190 44 183 48 180 60 180 79L180 694 33 683 33 645C68 645 90 642 97 636 104 630 108 616 108 593L108 79C108 60 105 48 98 44 91 40 69 39 33 39L33 0Z"></path><path data-c="6F" d="M249-11C311-11 363 11 406 55 449 99 471 152 471 214 471 277 450 332 408 378 366 424 313 448 250 448 187 448 135 424 92 378 49 332 28 277 28 214 28 152 49 99 92 55 135 11 188-11 249-11M250 21C202 21 166 42 141 85 125 113 117 159 117 222 117 283 125 327 140 355 164 398 200 419 249 419 296 419 332 398 357 357 374 329 382 284 382 222 382 106 348 21 250 21Z" transform="translate(278,0)"></path><path data-c="67" d="M431 453C393 453 358 438 326 408 296 431 262 442 223 442 137 442 59 378 59 294 59 252 74 218 104 192 85 168 75 141 75 110 75 72 88 43 113 24 71 10 28-26 28-77 28-120 56-154 111-178 153-197 199-206 249-206 300-206 347-197 389-178 444-154 471-120 471-75 471-22 449 17 405 42 359 67 308 70 234 70 190 70 166 70 161 71 133 75 113 102 113 133 113 148 117 162 126 174 154 155 186 145 223 145 309 145 386 209 386 293 386 332 373 364 347 389 372 412 399 423 428 423 423 418 420 410 420 400 420 378 431 367 453 367 474 367 485 378 485 401 485 432 461 453 431 453M223 411C277 411 304 372 304 294 304 215 277 175 223 175 168 175 141 214 141 293 141 372 168 411 223 411M164 4 222 4C274 4 316 1 348-6 391-15 412-39 412-77 412-109 392-134 352-153 321-168 287-175 250-175 214-175 180-168 148-153 107-134 87-109 87-77 87-35 123 4 164 4Z" transform="translate(778,0)"></path></g><g data-mml-node="mo" transform="translate(2010.7,0)"><path data-c="2061" d=""></path></g><g data-mml-node="msub" data-latex="p_{\theta}" transform="translate(2177.3,0)"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="TeXAtom" transform="translate(536,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(3095,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(3484,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4091,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mrow" data-latex="\partial W_{ij} " transform="translate(1395.8,-686)"><g data-mml-node="mi" data-latex="\partial"><path data-c="1D715" d="M256 574C256 597 241 610 212 612 243 659 288 683 347 683 439 683 484 606 484 508 484 467 476 417 461 356 444 425 401 460 334 460 257 460 190 428 130 366 70 304 40 235 40 158 40 121 53 83 79 45 110 0 158-22 225-22 315-22 390 20 449 105 505 187 566 329 566 456 566 527 548 587 512 635 473 689 418 716 349 716 282 716 232 693 198 646 171 609 157 579 157 556 157 530 171 517 199 517 229 517 256 544 256 574M439 303C439 240 420 178 381 117 338 48 287 14 228 14 162 14 124 57 124 121 124 149 131 188 145 238 159 288 173 323 188 344 228 401 277 430 334 430 407 430 439 376 439 303Z"></path></g><g data-mml-node="msub" data-latex="W_{i j}" transform="translate(566,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g><rect width="4680" height="60" x="120" y="220"></rect></g><g data-mml-node="mo" data-latex="=" transform="translate(5197.7,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="msub" data-latex="\mathbb{E}_{p_{\text{data}}(\mathbf{h}|\mathbf{v})}" transform="translate(6253.5,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{E}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="E"><path data-c="1D53C" d="M456 230 456 498C456 522 449 534 436 534 422 534 415 525 414 507 411 419 353 376 264 376L264 580C264 616 270 636 281 640 286 641 293 642 302 642L350 642C399 642 442 632 479 613 522 590 546 555 551 510 553 492 560 483 573 483 587 483 594 495 594 520L594 648C594 681 590 685 557 685L52 685C27 685 14 678 14 663 14 649 24 642 45 642 96 642 101 640 101 590L101 95C101 48 98 43 50 43 26 43 14 36 14 22 14 4 29 0 52 0L575 0C596 0 608 6 610 17 612 26 639 181 639 189 639 204 632 211 618 211 606 211 599 205 597 194 592 169 580 147 563 128 521 80 432 43 357 43L302 43C293 43 286 44 281 45 270 49 264 69 264 105L264 332C331 331 376 313 397 277 408 257 414 240 415 226 416 205 418 195 436 195 453 195 456 208 456 230M551 642 551 609C539 622 526 633 512 642M371 356C386 364 401 375 414 389L414 326C400 339 386 348 371 356M521 43C540 54 559 67 578 83 577 73 575 60 572 43M221 103C221 79 224 59 230 43L137 43C141 55 143 72 143 93L143 592C143 613 141 630 137 642L230 642C224 627 221 607 221 582Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(699,-176.7) scale(0.707)" data-latex="{p_{\text{data}}(\mathbf{h}|\mathbf{v})}" data-mjx-texclass="ORD"><g data-mml-node="msub" data-latex="p_{\text{data}}"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="TeXAtom" transform="translate(536,-150) scale(0.707)" data-latex="{\text{data}}" data-mjx-texclass="ORD"><g data-mml-node="mtext" data-latex="\text{data}"><path data-c="64" d="M374-11 527 0 527 38C491 38 470 40 462 46 454 52 450 67 450 90L450 694 301 683 301 645C336 645 358 642 366 636 374 630 377 616 377 593L377 390C345 427 305 445 257 445 195 445 142 423 99 378 56 333 34 279 34 216 34 155 54 102 95 57 136 12 186-11 247-11 298-11 341 8 374 47M261 415C304 415 339 396 364 358 371 347 374 336 374 323L374 121C374 108 371 97 364 86 336 41 298 19 251 19 210 19 177 39 151 80 133 110 124 155 124 215 124 324 161 415 261 415Z"></path><path data-c="61" d="M483 91 483 150 451 150 451 91C451 52 440 32 419 32 399 32 387 57 387 77L387 274C387 309 383 335 376 353 352 412 283 448 213 448 136 448 60 405 60 333 60 300 77 283 110 283 143 283 159 299 159 332 159 361 144 378 113 381 135 406 168 419 211 419 273 419 311 362 311 297L311 264C233 259 174 247 133 228 66 197 32 154 32 97 32 71 42 49 61 32 93 3 137-11 193-11 252-11 294 14 320 65 327 27 355-6 398-6 451-6 483 36 483 91M200 18C154 18 116 52 116 98 116 191 213 231 311 236L311 141C311 74 267 18 200 18Z" transform="translate(556,0)"></path><path data-c="74" d="M332 126 332 186 300 186 300 128C300 78 282 22 238 22 197 22 177 56 177 124L177 395 316 395 316 433 177 433 177 615 145 615C144 582 141 553 134 527 117 461 78 427 19 424L19 395 102 395 102 126C102 67 120 29 155 10 182-4 207-11 232-11 298-11 332 55 332 126Z" transform="translate(1056,0)"></path><path data-c="61" d="M483 91 483 150 451 150 451 91C451 52 440 32 419 32 399 32 387 57 387 77L387 274C387 309 383 335 376 353 352 412 283 448 213 448 136 448 60 405 60 333 60 300 77 283 110 283 143 283 159 299 159 332 159 361 144 378 113 381 135 406 168 419 211 419 273 419 311 362 311 297L311 264C233 259 174 247 133 228 66 197 32 154 32 97 32 71 42 49 61 32 93 3 137-11 193-11 252-11 294 14 320 65 327 27 355-6 398-6 451-6 483 36 483 91M200 18C154 18 116 52 116 98 116 191 213 231 311 236L311 141C311 74 267 18 200 18Z" transform="translate(1445,0)"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(1961.3,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(2350.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex="|" transform="translate(2989.3,0)"><path data-c="7C" d="M139-250C152-250 159-242 159-226L159 726C159 742 152 750 139 750 126 750 119 742 119 726L119-226C119-242 126-250 139-250Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(3267.3,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(3874.3,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g><g data-mml-node="mo" data-latex="[" transform="translate(10017.1,0)"><path data-c="5B" d="M233-202 159-202 159 702 233 702C248 702 256 710 256 726 256 742 248 750 233 750L114 750 114-250 233-250C248-250 256-242 256-226 256-214 245-202 233-202Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(10295.1,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(11107.1,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="]" transform="translate(12057.4,0)"><path data-c="5D" d="M45-250 164-250 164 750 45 750C30 750 22 742 22 726 22 710 30 702 45 702L119 702 119-202 45-202C30-202 22-210 22-226 22-242 30-250 45-250Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(12557.6,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="msub" data-latex="\mathbb{E}_{p_{\theta}(\mathbf{v},\mathbf{h})}" transform="translate(13557.9,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{E}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="E"><path data-c="1D53C" d="M456 230 456 498C456 522 449 534 436 534 422 534 415 525 414 507 411 419 353 376 264 376L264 580C264 616 270 636 281 640 286 641 293 642 302 642L350 642C399 642 442 632 479 613 522 590 546 555 551 510 553 492 560 483 573 483 587 483 594 495 594 520L594 648C594 681 590 685 557 685L52 685C27 685 14 678 14 663 14 649 24 642 45 642 96 642 101 640 101 590L101 95C101 48 98 43 50 43 26 43 14 36 14 22 14 4 29 0 52 0L575 0C596 0 608 6 610 17 612 26 639 181 639 189 639 204 632 211 618 211 606 211 599 205 597 194 592 169 580 147 563 128 521 80 432 43 357 43L302 43C293 43 286 44 281 45 270 49 264 69 264 105L264 332C331 331 376 313 397 277 408 257 414 240 415 226 416 205 418 195 436 195 453 195 456 208 456 230M551 642 551 609C539 622 526 633 512 642M371 356C386 364 401 375 414 389L414 326C400 339 386 348 371 356M521 43C540 54 559 67 578 83 577 73 575 60 572 43M221 103C221 79 224 59 230 43L137 43C141 55 143 72 143 93L143 592C143 613 141 630 137 642L230 642C224 627 221 607 221 582Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(699,-175.3) scale(0.707)" data-latex="{p_{\theta}(\mathbf{v},\mathbf{h})}" data-mjx-texclass="ORD"><g data-mml-node="msub" data-latex="p_{\theta}"><g data-mml-node="mi" data-latex="p"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="TeXAtom" transform="translate(536,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(917.6,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(1306.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(1913.6,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(2191.6,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex=")" transform="translate(2830.6,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g><g data-mml-node="mo" data-latex="[" transform="translate(16583.5,0)"><path data-c="5B" d="M233-202 159-202 159 702 233 702C248 702 256 710 256 726 256 742 248 750 233 750L114 750 114-250 233-250C248-250 256-242 256-226 256-214 245-202 233-202Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(16861.5,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(17673.4,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="]" transform="translate(18623.8,0)"><path data-c="5D" d="M45-250 164-250 164 750 45 750C30 750 22 742 22 726 22 710 30 702 45 702L119 702 119-202 45-202C30-202 22-210 22-226 22-242 30-250 45-250Z"></path></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1778 -1468.5 1 2437"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:10" transform="translate(0,760.5)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(10)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z" transform="translate(389,0)"></path><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z" transform="translate(889,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(1389,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>第一项为数据分布下的期望（正相），第二项为模型分布下的期望（负相）。由于直接计算负相需采样至热平衡，计算成本极高，欣顿提出对比散度算法，通过<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.025ex" xmlns="http://www.w3.org/2000/svg" width="1.179ex" height="1.595ex" role="img" focusable="false" viewBox="0 -694 521 705"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="k"><g data-mml-node="mi" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g></g></svg></mjx-container> 步吉布斯采样近似负相：</p><ol><li><strong>正相</strong>：给定训练样本<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.606ex" height="2.584ex" role="img" focusable="false" viewBox="0 -891.9 1593.7 1141.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v}^{(0)} = \mathbf{v}^{(n)}"><g data-mml-node="msup" data-latex="\mathbf{v}^{(0)}"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(640,363) scale(0.707)" data-latex="{(0)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(389,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(889,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="6.154ex" height="2.584ex" role="img" focusable="false" viewBox="0 -891.9 2720.2 1141.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v}^{(0)} = \mathbf{v}^{(n)}"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="msup" data-latex="\mathbf{v}^{(n)}" transform="translate(1055.8,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(640,363) scale(0.707)" data-latex="{(n)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="n" transform="translate(389,0)"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(989,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg></mjx-container> ，采样隐藏单元<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.678ex" height="2.584ex" role="img" focusable="false" viewBox="0 -891.9 1625.7 1141.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{h}^{(0)} \sim p(\mathbf{h}|\mathbf{v}^{(0)})"><g data-mml-node="msup" data-latex="\mathbf{h}^{(0)}"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(672,363) scale(0.707)" data-latex="{(0)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(389,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(889,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="10.956ex" height="2.584ex" role="img" focusable="false" viewBox="0 -891.9 4842.5 1141.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{h}^{(0)} \sim p(\mathbf{h}|\mathbf{v}^{(0)})"><g data-mml-node="mo" data-latex="\sim"><path data-c="223C" d="M597 143C674 166 714 235 717 350 717 361 712 366 701 366 691 366 686 361 685 351 684 308 675 275 657 251 637 224 592 194 548 194 518 194 486 207 453 233 434 248 418 261 406 271 335 333 274 364 222 364 207 364 192 362 177 357 92 332 59 262 56 150 56 139 61 134 72 134 82 134 87 139 88 149 89 192 98 225 116 249 135 275 182 306 225 306 255 306 287 293 320 267 339 252 355 239 367 229 438 167 499 136 551 136 566 136 582 138 597 143Z"></path></g><g data-mml-node="mi" data-latex="p" transform="translate(1050.8,0)"><path data-c="1D45D" d="M355 442C311 442 269 419 228 373 217 419 186 442 137 442 96 442 66 409 45 344 35 311 30 292 30 286 30 277 35 272 46 272 51 272 54 273 57 275 62 284 65 291 66 298 84 374 107 412 134 412 152 412 161 398 161 371 161 356 159 339 154 321L44-118C35-151 34-155-5-155-23-155-32-163-32-178-32-189-26-194-15-194 0-194 52-191 67-191 86-191 146-194 165-194 180-194 187-186 187-170 187-160 178-155 159-155 141-155 114-156 114-144 114-131 155 26 159 43 179 6 209-13 249-13 314-13 371 20 421 87 467 148 490 213 490 280 490 367 438 442 355 442M352 412C391 412 411 382 411 323 411 296 405 260 394 215 371 128 342 71 307 42 286 25 267 16 248 16 219 16 199 29 188 56 179 77 174 92 174 100L225 309C230 331 248 354 276 377 304 400 329 412 352 412Z"></path></g><g data-mml-node="mo" data-latex="(" transform="translate(1553.8,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD" transform="translate(1942.8,0)"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="mo" data-latex="|" transform="translate(2581.8,0)"><path data-c="7C" d="M139-250C152-250 159-242 159-226L159 726C159 742 152 750 139 750 126 750 119 742 119 726L119-226C119-242 126-250 139-250Z"></path></g><g data-mml-node="msup" data-latex="\mathbf{v}^{(0)}" transform="translate(2859.8,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(640,363) scale(0.707)" data-latex="{(0)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(389,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(889,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g><g data-mml-node="mo" data-latex=")" transform="translate(4453.5,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></svg></mjx-container> ，计算正相统计量<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.667ex" xmlns="http://www.w3.org/2000/svg" width="10.051ex" height="2.364ex" role="img" focusable="false" viewBox="0 -750 4442.6 1045"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbb{E}_{\text{data} }[v_i h_j] = \frac{1}{N} \sum_{n=1}^N v_i^{(n)} h_j^{(0,n)}"><g data-mml-node="msub" data-latex="\mathbb{E}_{\text{data}}"><g data-mml-node="TeXAtom" data-latex="\mathbb{E}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="E"><path data-c="1D53C" d="M456 230 456 498C456 522 449 534 436 534 422 534 415 525 414 507 411 419 353 376 264 376L264 580C264 616 270 636 281 640 286 641 293 642 302 642L350 642C399 642 442 632 479 613 522 590 546 555 551 510 553 492 560 483 573 483 587 483 594 495 594 520L594 648C594 681 590 685 557 685L52 685C27 685 14 678 14 663 14 649 24 642 45 642 96 642 101 640 101 590L101 95C101 48 98 43 50 43 26 43 14 36 14 22 14 4 29 0 52 0L575 0C596 0 608 6 610 17 612 26 639 181 639 189 639 204 632 211 618 211 606 211 599 205 597 194 592 169 580 147 563 128 521 80 432 43 357 43L302 43C293 43 286 44 281 45 270 49 264 69 264 105L264 332C331 331 376 313 397 277 408 257 414 240 415 226 416 205 418 195 436 195 453 195 456 208 456 230M551 642 551 609C539 622 526 633 512 642M371 356C386 364 401 375 414 389L414 326C400 339 386 348 371 356M521 43C540 54 559 67 578 83 577 73 575 60 572 43M221 103C221 79 224 59 230 43L137 43C141 55 143 72 143 93L143 592C143 613 141 630 137 642L230 642C224 627 221 607 221 582Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(699,-150) scale(0.707)" data-latex="{\text{data}}" data-mjx-texclass="ORD"><g data-mml-node="mtext" data-latex="\text{data}"><path data-c="64" d="M374-11 527 0 527 38C491 38 470 40 462 46 454 52 450 67 450 90L450 694 301 683 301 645C336 645 358 642 366 636 374 630 377 616 377 593L377 390C345 427 305 445 257 445 195 445 142 423 99 378 56 333 34 279 34 216 34 155 54 102 95 57 136 12 186-11 247-11 298-11 341 8 374 47M261 415C304 415 339 396 364 358 371 347 374 336 374 323L374 121C374 108 371 97 364 86 336 41 298 19 251 19 210 19 177 39 151 80 133 110 124 155 124 215 124 324 161 415 261 415Z"></path><path data-c="61" d="M483 91 483 150 451 150 451 91C451 52 440 32 419 32 399 32 387 57 387 77L387 274C387 309 383 335 376 353 352 412 283 448 213 448 136 448 60 405 60 333 60 300 77 283 110 283 143 283 159 299 159 332 159 361 144 378 113 381 135 406 168 419 211 419 273 419 311 362 311 297L311 264C233 259 174 247 133 228 66 197 32 154 32 97 32 71 42 49 61 32 93 3 137-11 193-11 252-11 294 14 320 65 327 27 355-6 398-6 451-6 483 36 483 91M200 18C154 18 116 52 116 98 116 191 213 231 311 236L311 141C311 74 267 18 200 18Z" transform="translate(556,0)"></path><path data-c="74" d="M332 126 332 186 300 186 300 128C300 78 282 22 238 22 197 22 177 56 177 124L177 395 316 395 316 433 177 433 177 615 145 615C144 582 141 553 134 527 117 461 78 427 19 424L19 395 102 395 102 126C102 67 120 29 155 10 182-4 207-11 232-11 298-11 332 55 332 126Z" transform="translate(1056,0)"></path><path data-c="61" d="M483 91 483 150 451 150 451 91C451 52 440 32 419 32 399 32 387 57 387 77L387 274C387 309 383 335 376 353 352 412 283 448 213 448 136 448 60 405 60 333 60 300 77 283 110 283 143 283 159 299 159 332 159 361 144 378 113 381 135 406 168 419 211 419 273 419 311 362 311 297L311 264C233 259 174 247 133 228 66 197 32 154 32 97 32 71 42 49 61 32 93 3 137-11 193-11 252-11 294 14 320 65 327 27 355-6 398-6 451-6 483 36 483 91M200 18C154 18 116 52 116 98 116 191 213 231 311 236L311 141C311 74 267 18 200 18Z" transform="translate(1445,0)"></path></g></g></g><g data-mml-node="mo" data-latex="[" transform="translate(2124.3,0)"><path data-c="5B" d="M233-202 159-202 159 702 233 702C248 702 256 710 256 726 256 742 248 750 233 750L114 750 114-250 233-250C248-250 256-242 256-226 256-214 245-202 233-202Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(2402.3,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(3214.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="]" transform="translate(4164.6,0)"><path data-c="5D" d="M45-250 164-250 164 750 45 750C30 750 22 742 22 726 22 710 30 702 45 702L119 702 119-202 45-202C30-202 22-210 22-226 22-242 30-250 45-250Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.993ex" xmlns="http://www.w3.org/2000/svg" width="19.559ex" height="3.386ex" role="img" focusable="false" viewBox="0 -1057.9 8644.9 1496.6"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbb{E}_{\text{data} }[v_i h_j] = \frac{1}{N} \sum_{n=1}^N v_i^{(n)} h_j^{(0,n)}"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mfrac" data-latex="\frac{1}{N}" transform="translate(1055.8,0)"><g data-mml-node="mn" transform="translate(354.7,394) scale(0.707)" data-latex="1"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mi" transform="translate(220,-345) scale(0.707)" data-latex="N"><path data-c="1D441" d="M864 683C845 683 783 680 764 680 745 680 682 683 663 683 648 683 641 675 641 659 641 650 648 645 663 644 705 644 726 631 726 605 726 599 725 592 724 585L616 157 401 662C393 681 391 683 366 683L233 683C209 683 200 681 200 659 200 649 211 644 232 644 274 644 295 643 296 640L163 110C154 71 131 49 95 42 69 39 39 43 39 15 39 5 45 0 56 0 74 0 136 3 155 3 174 3 238 0 257 0 272 0 279 8 279 24 279 33 271 38 255 39 214 40 194 53 194 78 194 83 195 90 197 100L326 611 576 21C582 7 590 0 599 0 608 0 614 8 618 24L757 574C770 625 798 643 860 644 874 645 881 653 881 669 878 678 877 683 864 683Z"></path></g><rect width="823" height="60" x="120" y="220"></rect></g><g data-mml-node="munderover" data-latex="\sum_{n=1}^N" transform="translate(2285.4,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M56 713 417 216 67-217C60-225 57-231 57-235 57-245 67-250 88-250L913-250 1001 5 967 5C954-33 933-66 902-95 825-166 719-188 565-188L152-188 490 232C497 240 500 246 500 250 500 254 498 259 493 266L175 702 560 702C682 702 764 691 854 644 907 616 944 571 967 510L1001 510 913 750 88 750C57 750 56 746 56 713Z"></path></g><g data-mml-node="mi" transform="translate(1089,477.1) scale(0.707)" data-latex="N"><path data-c="1D441" d="M864 683C845 683 783 680 764 680 745 680 682 683 663 683 648 683 641 675 641 659 641 650 648 645 663 644 705 644 726 631 726 605 726 599 725 592 724 585L616 157 401 662C393 681 391 683 366 683L233 683C209 683 200 681 200 659 200 649 211 644 232 644 274 644 295 643 296 640L163 110C154 71 131 49 95 42 69 39 39 43 39 15 39 5 45 0 56 0 74 0 136 3 155 3 174 3 238 0 257 0 272 0 279 8 279 24 279 33 271 38 255 39 214 40 194 53 194 78 194 83 195 90 197 100L326 611 576 21C582 7 590 0 599 0 608 0 614 8 618 24L757 574C770 625 798 643 860 644 874 645 881 653 881 669 878 678 877 683 864 683Z"></path></g><g data-mml-node="TeXAtom" transform="translate(1089,-285.4) scale(0.707)" data-latex="{n=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="n"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(600,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1378,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g><g data-mml-node="msubsup" data-latex="v_i^{(n)}" transform="translate(4919,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="TeXAtom" transform="translate(518,529) scale(0.707)" data-latex="{(n)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="n" transform="translate(389,0)"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(989,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(518,-293.8) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msubsup" data-latex="h_j^{(0,n)}" transform="translate(6461.4,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="TeXAtom" transform="translate(609,529) scale(0.707)" data-latex="{(0,n)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="0" transform="translate(389,0)"><path data-c="30" d="M249-22C390-22 460 92 460 320 460 473 428 575 365 625 330 652 291 666 250 666 109 666 39 551 39 320 39 136 88-22 249-22M361 524C368 489 371 425 371 332 371 240 367 172 360 128 347 48 310 8 249 8 226 8 203 17 182 34 155 57 139 104 132 176 129 201 128 253 128 332 128 419 131 480 136 513 145 568 163 603 191 618 213 630 232 636 249 636 314 636 350 583 361 524Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(889,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mi" data-latex="n" transform="translate(1167,0)"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1767,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(609,-293.8) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></svg></mjx-container> 。</li><li><strong>负相</strong>：进行<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.025ex" xmlns="http://www.w3.org/2000/svg" width="1.179ex" height="1.595ex" role="img" focusable="false" viewBox="0 -694 521 705"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="k"><g data-mml-node="mi" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g></g></svg></mjx-container> 步吉布斯采样（交替采样<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.009ex" xmlns="http://www.w3.org/2000/svg" width="1.373ex" height="1.014ex" role="img" focusable="false" viewBox="0 -444 607 448"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v}"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g></g></g></svg></mjx-container> 和<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="1.446ex" height="1.57ex" role="img" focusable="false" viewBox="0 -694 639 694"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{h}"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g></g></g></svg></mjx-container> ）得到<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.009ex" xmlns="http://www.w3.org/2000/svg" width="3.639ex" height="2.027ex" role="img" focusable="false" viewBox="0 -891.9 1608.5 895.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{v}^{(k)}"><g data-mml-node="msup" data-latex="\mathbf{v}^{(k)}"><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(640,363) scale(0.707)" data-latex="{(k)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="k" transform="translate(389,0)"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(910,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg></mjx-container> 和<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="3.712ex" height="2.018ex" role="img" focusable="false" viewBox="0 -891.9 1640.5 891.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbf{h}^{(k)}"><g data-mml-node="msup" data-latex="\mathbf{h}^{(k)}"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(672,363) scale(0.707)" data-latex="{(k)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="k" transform="translate(389,0)"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(910,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg></mjx-container> ，计算负相统计量<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.667ex" xmlns="http://www.w3.org/2000/svg" width="11.117ex" height="2.364ex" role="img" focusable="false" viewBox="0 -750 4913.5 1045"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbb{E}_{\text{model} }[v_i h_j] = \frac{1}{N} \sum_{n=1}^N v_i^{(k,n)} h_j^{(k,n)}"><g data-mml-node="msub" data-latex="\mathbb{E}_{\text{model}}"><g data-mml-node="TeXAtom" data-latex="\mathbb{E}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="E"><path data-c="1D53C" d="M456 230 456 498C456 522 449 534 436 534 422 534 415 525 414 507 411 419 353 376 264 376L264 580C264 616 270 636 281 640 286 641 293 642 302 642L350 642C399 642 442 632 479 613 522 590 546 555 551 510 553 492 560 483 573 483 587 483 594 495 594 520L594 648C594 681 590 685 557 685L52 685C27 685 14 678 14 663 14 649 24 642 45 642 96 642 101 640 101 590L101 95C101 48 98 43 50 43 26 43 14 36 14 22 14 4 29 0 52 0L575 0C596 0 608 6 610 17 612 26 639 181 639 189 639 204 632 211 618 211 606 211 599 205 597 194 592 169 580 147 563 128 521 80 432 43 357 43L302 43C293 43 286 44 281 45 270 49 264 69 264 105L264 332C331 331 376 313 397 277 408 257 414 240 415 226 416 205 418 195 436 195 453 195 456 208 456 230M551 642 551 609C539 622 526 633 512 642M371 356C386 364 401 375 414 389L414 326C400 339 386 348 371 356M521 43C540 54 559 67 578 83 577 73 575 60 572 43M221 103C221 79 224 59 230 43L137 43C141 55 143 72 143 93L143 592C143 613 141 630 137 642L230 642C224 627 221 607 221 582Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(699,-150) scale(0.707)" data-latex="{\text{model}}" data-mjx-texclass="ORD"><g data-mml-node="mtext" data-latex="\text{model}"><path data-c="6D" d="M315 413C361 413 384 378 384 307L384 79C384 60 381 48 374 44 367 40 344 38 307 38L307 0 423 3 538 0 538 38C501 38 479 40 472 44 465 48 461 60 461 79L461 259C461 339 513 413 590 413 637 413 660 378 660 307L660 79C660 60 656 48 649 44 642 40 619 38 582 38L582 0 698 3 813 0 813 38C781 38 760 39 750 42 740 45 736 52 736 64L736 251C736 298 734 331 731 350 721 411 676 442 597 442 534 442 487 413 455 354 441 413 397 442 322 442 259 442 211 412 179 352L179 442 32 431 32 393C68 393 90 390 98 384 106 378 109 365 109 342L109 79C109 60 105 48 98 44 91 40 69 38 32 38L32 0 148 3 263 0 263 38C226 38 203 40 196 44 189 48 185 60 185 79L185 259C185 340 238 413 315 413Z"></path><path data-c="6F" d="M249-11C311-11 363 11 406 55 449 99 471 152 471 214 471 277 450 332 408 378 366 424 313 448 250 448 187 448 135 424 92 378 49 332 28 277 28 214 28 152 49 99 92 55 135 11 188-11 249-11M250 21C202 21 166 42 141 85 125 113 117 159 117 222 117 283 125 327 140 355 164 398 200 419 249 419 296 419 332 398 357 357 374 329 382 284 382 222 382 106 348 21 250 21Z" transform="translate(833,0)"></path><path data-c="64" d="M374-11 527 0 527 38C491 38 470 40 462 46 454 52 450 67 450 90L450 694 301 683 301 645C336 645 358 642 366 636 374 630 377 616 377 593L377 390C345 427 305 445 257 445 195 445 142 423 99 378 56 333 34 279 34 216 34 155 54 102 95 57 136 12 186-11 247-11 298-11 341 8 374 47M261 415C304 415 339 396 364 358 371 347 374 336 374 323L374 121C374 108 371 97 364 86 336 41 298 19 251 19 210 19 177 39 151 80 133 110 124 155 124 215 124 324 161 415 261 415Z" transform="translate(1333,0)"></path><path data-c="65" d="M415 251C415 366 348 448 236 448 176 448 126 425 85 378 47 334 28 281 28 220 28 157 49 104 91 58 133 12 185-11 247-11 304-11 348 9 378 48 403 81 415 105 415 121 415 131 409 136 398 136 390 136 385 131 382 120 360 54 317 21 253 21 208 21 173 42 146 85 127 116 118 163 117 227L387 227C409 227 415 229 415 251M326 349C337 316 342 284 342 255L118 255C121 321 138 366 168 389 193 409 215 419 236 419 281 419 311 396 326 349Z" transform="translate(1889,0)"></path><path data-c="6C" d="M144 3 255 0 255 39C219 39 197 40 190 44 183 48 180 60 180 79L180 694 33 683 33 645C68 645 90 642 97 636 104 630 108 616 108 593L108 79C108 60 105 48 98 44 91 40 69 39 33 39L33 0Z" transform="translate(2333,0)"></path></g></g></g><g data-mml-node="mo" data-latex="[" transform="translate(2595.3,0)"><path data-c="5B" d="M233-202 159-202 159 702 233 702C248 702 256 710 256 726 256 742 248 750 233 750L114 750 114-250 233-250C248-250 256-242 256-226 256-214 245-202 233-202Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(2873.3,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(3685.2,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="]" transform="translate(4635.5,0)"><path data-c="5D" d="M45-250 164-250 164 750 45 750C30 750 22 742 22 726 22 710 30 702 45 702L119 702 119-202 45-202C30-202 22-210 22-226 22-242 30-250 45-250Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.993ex" xmlns="http://www.w3.org/2000/svg" width="20.871ex" height="3.386ex" role="img" focusable="false" viewBox="0 -1057.9 9224.8 1496.6"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\mathbb{E}_{\text{model} }[v_i h_j] = \frac{1}{N} \sum_{n=1}^N v_i^{(k,n)} h_j^{(k,n)}"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mfrac" data-latex="\frac{1}{N}" transform="translate(1055.8,0)"><g data-mml-node="mn" transform="translate(354.7,394) scale(0.707)" data-latex="1"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mi" transform="translate(220,-345) scale(0.707)" data-latex="N"><path data-c="1D441" d="M864 683C845 683 783 680 764 680 745 680 682 683 663 683 648 683 641 675 641 659 641 650 648 645 663 644 705 644 726 631 726 605 726 599 725 592 724 585L616 157 401 662C393 681 391 683 366 683L233 683C209 683 200 681 200 659 200 649 211 644 232 644 274 644 295 643 296 640L163 110C154 71 131 49 95 42 69 39 39 43 39 15 39 5 45 0 56 0 74 0 136 3 155 3 174 3 238 0 257 0 272 0 279 8 279 24 279 33 271 38 255 39 214 40 194 53 194 78 194 83 195 90 197 100L326 611 576 21C582 7 590 0 599 0 608 0 614 8 618 24L757 574C770 625 798 643 860 644 874 645 881 653 881 669 878 678 877 683 864 683Z"></path></g><rect width="823" height="60" x="120" y="220"></rect></g><g data-mml-node="munderover" data-latex="\sum_{n=1}^N" transform="translate(2285.4,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M56 713 417 216 67-217C60-225 57-231 57-235 57-245 67-250 88-250L913-250 1001 5 967 5C954-33 933-66 902-95 825-166 719-188 565-188L152-188 490 232C497 240 500 246 500 250 500 254 498 259 493 266L175 702 560 702C682 702 764 691 854 644 907 616 944 571 967 510L1001 510 913 750 88 750C57 750 56 746 56 713Z"></path></g><g data-mml-node="mi" transform="translate(1089,477.1) scale(0.707)" data-latex="N"><path data-c="1D441" d="M864 683C845 683 783 680 764 680 745 680 682 683 663 683 648 683 641 675 641 659 641 650 648 645 663 644 705 644 726 631 726 605 726 599 725 592 724 585L616 157 401 662C393 681 391 683 366 683L233 683C209 683 200 681 200 659 200 649 211 644 232 644 274 644 295 643 296 640L163 110C154 71 131 49 95 42 69 39 39 43 39 15 39 5 45 0 56 0 74 0 136 3 155 3 174 3 238 0 257 0 272 0 279 8 279 24 279 33 271 38 255 39 214 40 194 53 194 78 194 83 195 90 197 100L326 611 576 21C582 7 590 0 599 0 608 0 614 8 618 24L757 574C770 625 798 643 860 644 874 645 881 653 881 669 878 678 877 683 864 683Z"></path></g><g data-mml-node="TeXAtom" transform="translate(1089,-285.4) scale(0.707)" data-latex="{n=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="n"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(600,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1378,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g><g data-mml-node="msubsup" data-latex="v_i^{(k,n)}" transform="translate(4919,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="TeXAtom" transform="translate(518,529) scale(0.707)" data-latex="{(k,n)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="k" transform="translate(389,0)"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(910,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mi" data-latex="n" transform="translate(1188,0)"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1788,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(518,-293.8) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msubsup" data-latex="h_j^{(k,n)}" transform="translate(7026.4,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="TeXAtom" transform="translate(609,529) scale(0.707)" data-latex="{(k,n)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="k" transform="translate(389,0)"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(910,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mi" data-latex="n" transform="translate(1188,0)"><path data-c="1D45B" d="M537 137C514 58 481 18 440 18 427 18 420 28 420 47 420 61 426 84 438 115 478 224 498 296 498 333 498 403 451 442 381 442 322 442 271 416 230 363 222 407 187 442 136 442 80 442 58 390 44 345 34 313 29 294 29 287 29 278 34 273 45 273 50 273 53 274 56 276 61 285 64 292 65 299 83 375 106 413 133 413 151 413 160 399 160 371 160 358 155 331 144 290L87 63C84 50 78 24 78 19 78-1 89-11 111-11 130-11 144-1 151 19 153 24 159 49 170 92L191 181 221 295C232 318 249 341 270 365 299 397 335 413 378 413 411 413 427 391 427 348 427 310 406 234 363 120 356 102 353 87 353 74 353 25 390-11 438-11 482-11 517 14 542 64 561 104 571 131 571 144 571 153 566 158 555 158 552 158 537 149 537 137Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1788,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(609,-293.8) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></svg></mjx-container> 。</li><li><strong>参数更新</strong>：<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.667ex" xmlns="http://www.w3.org/2000/svg" width="3.535ex" height="2.364ex" role="img" focusable="false" viewBox="0 -750 1562.3 1045"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="W_{ij} \leftarrow W_{ij} + \alpha \left(\mathbb{E}_{\text{data} }[v_i h_j] - \mathbb{E}_{\text{model} }[v_i h_j] \right)"><g data-mml-node="msub" data-latex="W_{i j}"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.667ex" xmlns="http://www.w3.org/2000/svg" width="6.425ex" height="2.364ex" role="img" focusable="false" viewBox="0 -750 2840.1 1045"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="W_{ij} \leftarrow W_{ij} + \alpha \left(\mathbb{E}_{\text{data} }[v_i h_j] - \mathbb{E}_{\text{model} }[v_i h_j] \right)"><g data-mml-node="mo" data-latex="\leftarrow"><path data-c="2190" d="M918 274 172 274C245 326 289 395 306 482L306 483 307 485C307 502 299 510 283 510 270 510 262 504 259 491 250 444 231 403 203 368 161 316 116 282 68 266 61 263 57 257 57 250 57 243 61 237 68 234 116 218 161 184 203 132 231 97 250 56 259 9 262-4 270-10 283-10 299-10 307-2 307 15L306 17 306 18C289 105 245 174 172 226L918 226C934 226 942 234 942 250 942 263 931 274 918 274Z"></path></g><g data-mml-node="msub" data-latex="W_{i j}" transform="translate(1277.8,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(977,-150) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></g></svg><mjx-break size="3"></mjx-break><svg style="vertical-align:-.667ex" xmlns="http://www.w3.org/2000/svg" width="29.782ex" height="2.364ex" role="img" focusable="false" viewBox="0 -750 13163.5 1045"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="W_{ij} \leftarrow W_{ij} + \alpha \left(\mathbb{E}_{\text{data} }[v_i h_j] - \mathbb{E}_{\text{model} }[v_i h_j] \right)"><g data-mml-node="mo" data-latex="+"><path data-c="2B" d="M698 274 413 274 413 559C413 575 405 583 389 583 373 583 365 575 365 559L365 274 80 274C64 274 56 266 56 250 56 234 64 226 80 226L365 226 365-59C365-75 373-83 389-83 405-83 413-75 413-59L413 226 698 226C714 226 722 234 722 250 722 263 711 274 698 274Z"></path></g><g data-mml-node="mi" data-latex="\alpha" transform="translate(1000.2,0)"><path data-c="1D6FC" d="M310 442C241 442 179 412 124 353 69 294 41 229 41 159 41 61 107-11 205-11 274-11 342 16 410 69 425 16 456-11 502-11 538-11 589 27 589 63 589 72 584 76 573 76 566 76 560 72 557 64 549 43 528 18 505 18 488 18 479 50 479 115 479 129 482 140 488 147 515 180 539 218 558 260 583 314 598 354 602 380L602 384C599 391 593 394 586 394 581 393 575 385 568 371 547 299 518 237 479 186L479 236C479 352 421 442 310 442M403 211C403 152 404 116 405 103 340 46 274 18 207 18 150 18 122 53 122 122 122 180 155 288 178 324 216 383 260 413 309 413 340 413 361 401 374 377 381 365 386 353 391 342 399 319 403 258 403 211Z"></path></g><g data-mml-node="mrow" data-latex-item="\left(\mathbb{E}_{\text{data} }[v_i h_j] - \mathbb{E}_{\text{model} }[v_i h_j] \right)" data-latex="\left(\mathbb{E}_{\text{data} }[v_i h_j] - \mathbb{E}_{\text{model} }[v_i h_j] \right)" transform="translate(1806.9,0)"><g data-mml-node="mo" data-latex-item="\left(" data-latex="\left("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="msub" data-latex="\mathbb{E}_{\text{data}}" transform="translate(389,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{E}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="E"><path data-c="1D53C" d="M456 230 456 498C456 522 449 534 436 534 422 534 415 525 414 507 411 419 353 376 264 376L264 580C264 616 270 636 281 640 286 641 293 642 302 642L350 642C399 642 442 632 479 613 522 590 546 555 551 510 553 492 560 483 573 483 587 483 594 495 594 520L594 648C594 681 590 685 557 685L52 685C27 685 14 678 14 663 14 649 24 642 45 642 96 642 101 640 101 590L101 95C101 48 98 43 50 43 26 43 14 36 14 22 14 4 29 0 52 0L575 0C596 0 608 6 610 17 612 26 639 181 639 189 639 204 632 211 618 211 606 211 599 205 597 194 592 169 580 147 563 128 521 80 432 43 357 43L302 43C293 43 286 44 281 45 270 49 264 69 264 105L264 332C331 331 376 313 397 277 408 257 414 240 415 226 416 205 418 195 436 195 453 195 456 208 456 230M551 642 551 609C539 622 526 633 512 642M371 356C386 364 401 375 414 389L414 326C400 339 386 348 371 356M521 43C540 54 559 67 578 83 577 73 575 60 572 43M221 103C221 79 224 59 230 43L137 43C141 55 143 72 143 93L143 592C143 613 141 630 137 642L230 642C224 627 221 607 221 582Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(699,-150) scale(0.707)" data-latex="{\text{data}}" data-mjx-texclass="ORD"><g data-mml-node="mtext" data-latex="\text{data}"><path data-c="64" d="M374-11 527 0 527 38C491 38 470 40 462 46 454 52 450 67 450 90L450 694 301 683 301 645C336 645 358 642 366 636 374 630 377 616 377 593L377 390C345 427 305 445 257 445 195 445 142 423 99 378 56 333 34 279 34 216 34 155 54 102 95 57 136 12 186-11 247-11 298-11 341 8 374 47M261 415C304 415 339 396 364 358 371 347 374 336 374 323L374 121C374 108 371 97 364 86 336 41 298 19 251 19 210 19 177 39 151 80 133 110 124 155 124 215 124 324 161 415 261 415Z"></path><path data-c="61" d="M483 91 483 150 451 150 451 91C451 52 440 32 419 32 399 32 387 57 387 77L387 274C387 309 383 335 376 353 352 412 283 448 213 448 136 448 60 405 60 333 60 300 77 283 110 283 143 283 159 299 159 332 159 361 144 378 113 381 135 406 168 419 211 419 273 419 311 362 311 297L311 264C233 259 174 247 133 228 66 197 32 154 32 97 32 71 42 49 61 32 93 3 137-11 193-11 252-11 294 14 320 65 327 27 355-6 398-6 451-6 483 36 483 91M200 18C154 18 116 52 116 98 116 191 213 231 311 236L311 141C311 74 267 18 200 18Z" transform="translate(556,0)"></path><path data-c="74" d="M332 126 332 186 300 186 300 128C300 78 282 22 238 22 197 22 177 56 177 124L177 395 316 395 316 433 177 433 177 615 145 615C144 582 141 553 134 527 117 461 78 427 19 424L19 395 102 395 102 126C102 67 120 29 155 10 182-4 207-11 232-11 298-11 332 55 332 126Z" transform="translate(1056,0)"></path><path data-c="61" d="M483 91 483 150 451 150 451 91C451 52 440 32 419 32 399 32 387 57 387 77L387 274C387 309 383 335 376 353 352 412 283 448 213 448 136 448 60 405 60 333 60 300 77 283 110 283 143 283 159 299 159 332 159 361 144 378 113 381 135 406 168 419 211 419 273 419 311 362 311 297L311 264C233 259 174 247 133 228 66 197 32 154 32 97 32 71 42 49 61 32 93 3 137-11 193-11 252-11 294 14 320 65 327 27 355-6 398-6 451-6 483 36 483 91M200 18C154 18 116 52 116 98 116 191 213 231 311 236L311 141C311 74 267 18 200 18Z" transform="translate(1445,0)"></path></g></g></g><g data-mml-node="mo" data-latex="[" transform="translate(2513.3,0)"><path data-c="5B" d="M233-202 159-202 159 702 233 702C248 702 256 710 256 726 256 742 248 750 233 750L114 750 114-250 233-250C248-250 256-242 256-226 256-214 245-202 233-202Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(2791.3,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(3603.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="]" transform="translate(4553.6,0)"><path data-c="5D" d="M45-250 164-250 164 750 45 750C30 750 22 742 22 726 22 710 30 702 45 702L119 702 119-202 45-202C30-202 22-210 22-226 22-242 30-250 45-250Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(5053.8,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="msub" data-latex="\mathbb{E}_{\text{model}}" transform="translate(6054,0)"><g data-mml-node="TeXAtom" data-latex="\mathbb{E}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="E"><path data-c="1D53C" d="M456 230 456 498C456 522 449 534 436 534 422 534 415 525 414 507 411 419 353 376 264 376L264 580C264 616 270 636 281 640 286 641 293 642 302 642L350 642C399 642 442 632 479 613 522 590 546 555 551 510 553 492 560 483 573 483 587 483 594 495 594 520L594 648C594 681 590 685 557 685L52 685C27 685 14 678 14 663 14 649 24 642 45 642 96 642 101 640 101 590L101 95C101 48 98 43 50 43 26 43 14 36 14 22 14 4 29 0 52 0L575 0C596 0 608 6 610 17 612 26 639 181 639 189 639 204 632 211 618 211 606 211 599 205 597 194 592 169 580 147 563 128 521 80 432 43 357 43L302 43C293 43 286 44 281 45 270 49 264 69 264 105L264 332C331 331 376 313 397 277 408 257 414 240 415 226 416 205 418 195 436 195 453 195 456 208 456 230M551 642 551 609C539 622 526 633 512 642M371 356C386 364 401 375 414 389L414 326C400 339 386 348 371 356M521 43C540 54 559 67 578 83 577 73 575 60 572 43M221 103C221 79 224 59 230 43L137 43C141 55 143 72 143 93L143 592C143 613 141 630 137 642L230 642C224 627 221 607 221 582Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(699,-150) scale(0.707)" data-latex="{\text{model}}" data-mjx-texclass="ORD"><g data-mml-node="mtext" data-latex="\text{model}"><path data-c="6D" d="M315 413C361 413 384 378 384 307L384 79C384 60 381 48 374 44 367 40 344 38 307 38L307 0 423 3 538 0 538 38C501 38 479 40 472 44 465 48 461 60 461 79L461 259C461 339 513 413 590 413 637 413 660 378 660 307L660 79C660 60 656 48 649 44 642 40 619 38 582 38L582 0 698 3 813 0 813 38C781 38 760 39 750 42 740 45 736 52 736 64L736 251C736 298 734 331 731 350 721 411 676 442 597 442 534 442 487 413 455 354 441 413 397 442 322 442 259 442 211 412 179 352L179 442 32 431 32 393C68 393 90 390 98 384 106 378 109 365 109 342L109 79C109 60 105 48 98 44 91 40 69 38 32 38L32 0 148 3 263 0 263 38C226 38 203 40 196 44 189 48 185 60 185 79L185 259C185 340 238 413 315 413Z"></path><path data-c="6F" d="M249-11C311-11 363 11 406 55 449 99 471 152 471 214 471 277 450 332 408 378 366 424 313 448 250 448 187 448 135 424 92 378 49 332 28 277 28 214 28 152 49 99 92 55 135 11 188-11 249-11M250 21C202 21 166 42 141 85 125 113 117 159 117 222 117 283 125 327 140 355 164 398 200 419 249 419 296 419 332 398 357 357 374 329 382 284 382 222 382 106 348 21 250 21Z" transform="translate(833,0)"></path><path data-c="64" d="M374-11 527 0 527 38C491 38 470 40 462 46 454 52 450 67 450 90L450 694 301 683 301 645C336 645 358 642 366 636 374 630 377 616 377 593L377 390C345 427 305 445 257 445 195 445 142 423 99 378 56 333 34 279 34 216 34 155 54 102 95 57 136 12 186-11 247-11 298-11 341 8 374 47M261 415C304 415 339 396 364 358 371 347 374 336 374 323L374 121C374 108 371 97 364 86 336 41 298 19 251 19 210 19 177 39 151 80 133 110 124 155 124 215 124 324 161 415 261 415Z" transform="translate(1333,0)"></path><path data-c="65" d="M415 251C415 366 348 448 236 448 176 448 126 425 85 378 47 334 28 281 28 220 28 157 49 104 91 58 133 12 185-11 247-11 304-11 348 9 378 48 403 81 415 105 415 121 415 131 409 136 398 136 390 136 385 131 382 120 360 54 317 21 253 21 208 21 173 42 146 85 127 116 118 163 117 227L387 227C409 227 415 229 415 251M326 349C337 316 342 284 342 255L118 255C121 321 138 366 168 389 193 409 215 419 236 419 281 419 311 396 326 349Z" transform="translate(1889,0)"></path><path data-c="6C" d="M144 3 255 0 255 39C219 39 197 40 190 44 183 48 180 60 180 79L180 694 33 683 33 645C68 645 90 642 97 636 104 630 108 616 108 593L108 79C108 60 105 48 98 44 91 40 69 39 33 39L33 0Z" transform="translate(2333,0)"></path></g></g></g><g data-mml-node="mo" data-latex="[" transform="translate(8649.3,0)"><path data-c="5B" d="M233-202 159-202 159 702 233 702C248 702 256 710 256 726 256 742 248 750 233 750L114 750 114-250 233-250C248-250 256-242 256-226 256-214 245-202 233-202Z"></path></g><g data-mml-node="msub" data-latex="v_i" transform="translate(8927.3,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="h_j" transform="translate(9739.3,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="mi" transform="translate(609,-150) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="]" transform="translate(10689.6,0)"><path data-c="5D" d="M45-250 164-250 164 750 45 750C30 750 22 742 22 726 22 710 30 702 45 702L119 702 119-202 45-202C30-202 22-210 22-226 22-242 30-250 45-250Z"></path></g><g data-mml-node="mo" data-latex-item="\right)" data-latex="\right)" transform="translate(10967.6,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></svg></mjx-container> ，其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.025ex" xmlns="http://www.w3.org/2000/svg" width="1.448ex" height="1.025ex" role="img" focusable="false" viewBox="0 -442 640 453"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="\alpha"><g data-mml-node="mi" data-latex="\alpha"><path data-c="1D6FC" d="M310 442C241 442 179 412 124 353 69 294 41 229 41 159 41 61 107-11 205-11 274-11 342 16 410 69 425 16 456-11 502-11 538-11 589 27 589 63 589 72 584 76 573 76 566 76 560 72 557 64 549 43 528 18 505 18 488 18 479 50 479 115 479 129 482 140 488 147 515 180 539 218 558 260 583 314 598 354 602 380L602 384C599 391 593 394 586 394 581 393 575 385 568 371 547 299 518 237 479 186L479 236C479 352 421 442 310 442M403 211C403 152 404 116 405 103 340 46 274 18 207 18 150 18 122 53 122 122 122 180 155 288 178 324 216 383 260 413 309 413 340 413 361 401 374 377 381 365 386 353 391 342 399 319 403 258 403 211Z"></path></g></g></g></svg></mjx-container> 为学习率。</li></ol><p>实际应用中，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="1.179ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 521 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="k=1"><g data-mml-node="mi" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.52ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1555.8 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="k=1"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1055.8,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g></svg></mjx-container> 即可取得较好效果，这是因为 RBM 的马尔可夫链混合速度较快。</p></div><div class="story post-story"><h2 id="深度玻尔兹曼机（DBM）：多层特征学习"><a href="#深度玻尔兹曼机（DBM）：多层特征学习" class="headerlink" title="深度玻尔兹曼机（DBM）：多层特征学习"></a>深度玻尔兹曼机（DBM）：多层特征学习</h2><p>深度玻尔兹曼机通过堆叠多个 RBM 实现深层结构，包含一个可见层和多个隐藏层，层间全连接，同层无连接。其能量函数为：</p><p><mjx-container class="MathJax" jax="SVG" overflow="overflow" display="true" width="full" style="min-width:105.785ex"><svg style="vertical-align:-2.969ex;min-width:105.785ex" xmlns="http://www.w3.org/2000/svg" width="100%" height="7.069ex" role="img" focusable="false"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(0.0181,-0.0181) translate(0, -1812.2)"><g data-mml-node="math" data-latex="
E_{\theta}(\mathbf{v}, \mathbf{h}^{(1)}, \dots, \mathbf{h}^{(L)}) = -\sum_{i=1}^D a_i v_i - \sum_{l=1}^L \sum_{j=1}^{P_l} b_j^{(l)} h_j^{(l)} - \sum_{i=1}^D \sum_{j=1}^{P_1} W_{ij}^{(1)} v_i h_j^{(1)} - \sum_{l=2}^L \sum_{j=1}^{P_l} \sum_{k=1}^{P_{l-1} } W_{jk}^{(l)} h_k^{(l-1)} h_j^{(l)}
"><g data-mml-node="mtable" data-latex="
E_{\theta}(\mathbf{v}, \mathbf{h}^{(1)}, \dots, \mathbf{h}^{(L)}) = -\sum_{i=1}^D a_i v_i - \sum_{l=1}^L \sum_{j=1}^{P_l} b_j^{(l)} h_j^{(l)} - \sum_{i=1}^D \sum_{j=1}^{P_1 } W_{ij}^{(1)} v_i h_j^{(1)} - \sum_{l=2}^L \sum_{j=1}^{P_l} \sum_{k=1}^{P_{l-1} } W_{jk}^{(l)} h_k^{(l-1)} h_j^{(l)}
" transform="translate(2578,0) translate(-2578,0)"><g transform="translate(0 1812.2) matrix(1 0 0 -1 0 0) scale(55.25)"><svg data-table="true" preserveAspectRatio="xMidYMid" viewBox="20800.5 -1812.2 1 3124.4"><g transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mlabeledtr" transform="translate(0,20.7)"><g data-mml-node="mtd"><g data-mml-node="msub" data-latex="E_{\theta}"><g data-mml-node="mi" data-latex="E"><path data-c="1D438" d="M199 656C199 646 210 641 231 641 271 641 291 637 291 628 291 625 289 618 286 605L156 82C151 60 141 47 126 42 119 40 101 39 70 39 48 39 38 37 38 16 38 5 49 0 70 0L583 0C607 0 609 2 617 19L657 109C684 171 703 217 714 248 712 257 709 263 698 263 691 263 685 258 681 249 656 190 632 145 608 113 568 59 509 39 415 39L270 39C260 39 253 39 249 40 243 40 240 42 240 45 240 47 242 54 245 67L311 334 406 334C453 334 478 328 483 315 485 310 486 303 486 293 486 280 484 264 479 245 477 240 476 236 476 233 476 223 482 218 493 218 502 218 508 226 512 241L568 473C568 483 563 488 552 488 544 488 538 481 535 467 525 428 512 403 495 391 478 379 450 373 409 373L321 373 379 606C387 640 387 641 429 641L568 641C619 641 654 636 673 626 701 611 715 581 715 536 715 519 714 501 711 484 711 482 711 479 710 475L710 466C710 455 715 450 725 450 735 450 741 459 743 478L763 649C766 677 759 680 732 680L233 680C210 680 199 679 199 656Z"></path></g><g data-mml-node="TeXAtom" transform="translate(771,-150) scale(0.707)" data-latex="{\theta}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="\theta"><path data-c="1D703" d="M164-11C209-11 256 16 302 70 382 163 455 335 455 498 455 539 448 582 434 625 416 678 382 705 333 705 288 705 243 678 196 624 116 532 42 360 42 196 42 94 75-11 164-11M332 675C365 675 382 637 382 560 382 517 372 452 352 367L155 367C180 460 204 529 229 574 266 641 301 675 332 675M145 327 341 327C322 246 299 181 274 132 235 57 199 19 164 19 131 19 115 58 115 135 115 185 125 249 145 327Z"></path></g></g></g><g data-mml-node="mo" data-latex="(" transform="translate(1152.6,0)"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="TeXAtom" data-latex="\mathbf{v}" data-mjx-texclass="ORD" transform="translate(1541.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D42F" d="M580 397 580 444C555 442 526 441 501 441L410 444 410 397C429 397 458 394 458 386 458 386 458 384 453 374L337 124 210 397 264 397 264 444 140 441 26 444 26 397 90 397 265 21C277-4 290-4 303-4 320-4 330-1 340 20L506 376C512 390 516 397 580 397Z"></path></g></g><g data-mml-node="mo" data-latex="," transform="translate(2148.6,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="msup" data-latex="\mathbf{h}^{(1)}" transform="translate(2593.3,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(672,413) scale(0.707)" data-latex="{(1)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(389,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(889,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g><g data-mml-node="mo" data-latex="," transform="translate(4219,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="mo" transform="translate(4663.6,0)"><path data-c="2026" d="M751 53C751 83 725 106 695 106 664 106 638 83 638 53 638 23 664 0 695 0 725 0 751 23 751 53M475 53C475 83 449 106 419 106 388 106 363 83 363 53 363 23 388 0 419 0 449 0 475 23 475 53M200 53C200 83 174 106 143 106 113 106 87 83 87 53 87 23 113 0 143 0 173 0 200 23 200 53Z"></path></g><g data-mml-node="mo" data-latex="," transform="translate(5667.3,0)"><path data-c="2C" d="M139 106C107 106 86 82 86 50 86 20 109-5 139-5 153-5 165-1 174 8L175 0C175-63 154-117 112-160 105-168 101-174 101-178 101-188 105-193 114-193 123-193 135-181 152-158 186-110 203-57 203 0 203 53 185 106 139 106Z"></path></g><g data-mml-node="msup" data-latex="\mathbf{h}^{(L)}" transform="translate(6112,0)"><g data-mml-node="TeXAtom" data-latex="\mathbf{h}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="h"><path data-c="1D421" d="M615 0 615 47 546 47 546 306C546 411 492 450 392 450 296 450 245 392 223 354L222 354 222 694 45 686 45 639C107 639 114 639 114 600L114 47 45 47 45 0 171 3 297 0 297 47 228 47 228 256C228 365 314 414 377 414 411 414 432 393 432 317L432 47 363 47 363 0 489 3Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(672,413) scale(0.707)" data-latex="{(L)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="L" transform="translate(389,0)"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1070,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g><g data-mml-node="mo" data-latex=")" transform="translate(7865.7,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(8532.4,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(9588.2,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{i=1}^D" transform="translate(10532.9,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(148.2,-1087.9) scale(0.707)" data-latex="{i=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(345,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1123,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(429.3,1150) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g><g data-mml-node="msub" data-latex="a_i" transform="translate(12143.5,0)"><g data-mml-node="mi" data-latex="a"><path data-c="1D44E" d="M498 144C498 153 493 158 482 158 474 158 468 151 465 137 445 58 421 18 394 18 377 18 368 32 368 60 368 73 372 97 381 132L438 357C443 376 445 387 445 392 445 412 434 422 412 422 391 422 377 410 370 387 349 424 319 442 281 442 216 442 159 409 109 343 63 281 40 217 40 150 40 63 91-11 175-11 218-11 260 12 300 58 311 20 345-11 392-11 461-11 482 70 498 144M341 374C350 353 355 339 355 330 355 326 354 321 353 314L304 122C301 111 294 99 285 87 248 41 212 18 177 18 138 18 118 48 118 107 118 131 124 167 136 215 157 300 187 357 224 388 244 405 263 413 282 413 309 413 329 400 341 374Z"></path></g><g data-mml-node="mi" transform="translate(562,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msub" data-latex="v_i" transform="translate(12999.5,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="mo" data-latex="-" transform="translate(14033.7,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{l=1}^L" transform="translate(15033.9,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(164.8,-1107.7) scale(0.707)" data-latex="{l=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(298,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1076,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(481.2,1150) scale(0.707)" data-latex="L"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g></g><g data-mml-node="munderover" data-latex="\sum_{j=1}^{P_l}" transform="translate(16644.6,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(124.5,-1087.9) scale(0.707)" data-latex="{j=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(412,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1190,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(391.2,1172.6) scale(0.707)" data-latex="{P_l}" data-mjx-texclass="ORD"><g data-mml-node="msub" data-latex="P_l"><g data-mml-node="mi" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g><g data-mml-node="mi" transform="translate(675,-150) scale(0.707)" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g></g></g></g><g data-mml-node="msubsup" data-latex="b_j^{(l)}" transform="translate(18255.2,0)"><g data-mml-node="mi" data-latex="b"><path data-c="1D44F" d="M281 445C245 445 209 428 174 394L243 679C241 688 238 694 226 694 193 694 120 685 107 684 92 682 84 675 84 660 84 650 93 645 112 645 131 645 157 646 157 632 157 628 152 608 143 571L63 249C52 207 47 173 47 148 47 62 93-11 175-11 240-11 297 22 347 89 392 151 415 216 415 283 415 370 364 445 281 445M279 415C318 415 337 385 337 326 337 299 331 263 319 218 297 133 268 75 233 44 213 27 194 19 175 19 134 19 114 51 114 115 114 137 119 170 129 214L151 304C154 319 159 330 165 338 204 389 242 415 279 415Z"></path></g><g data-mml-node="TeXAtom" transform="translate(462,529) scale(0.707)" data-latex="{(l)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="l" transform="translate(389,0)"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(687,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(462,-293.8) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="msubsup" data-latex="h_j^{(l)}" transform="translate(19528.1,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="TeXAtom" transform="translate(609,529) scale(0.707)" data-latex="{(l)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="l" transform="translate(389,0)"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(687,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(609,-293.8) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="-" transform="translate(21170.1,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{i=1}^D" transform="translate(22170.4,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(148.2,-1087.9) scale(0.707)" data-latex="{i=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(345,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1123,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="mi" transform="translate(429.3,1150) scale(0.707)" data-latex="D"><path data-c="1D437" d="M567 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C153 60 143 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 51 0 72 0L399 0C467 0 532 20 595 61 702 130 804 265 804 429 804 577 713 683 567 683M710 466C710 353 659 216 607 149 550 76 475 39 381 39L270 39C259 39 252 39 248 40 242 40 239 42 239 45 239 47 241 54 244 67L379 610C388 643 387 644 429 644L535 644C647 644 710 578 710 466Z"></path></g></g><g data-mml-node="munderover" data-latex="\sum_{j=1}^{P_1}" transform="translate(23781,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(124.5,-1087.9) scale(0.707)" data-latex="{j=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(412,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1190,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(340.7,1167.1) scale(0.707)" data-latex="{P_1}" data-mjx-texclass="ORD"><g data-mml-node="msub" data-latex="P_1"><g data-mml-node="mi" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g><g data-mml-node="mn" transform="translate(675,-150) scale(0.707)" data-latex="1"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g></g><g data-mml-node="msubsup" data-latex="W_{i j}^{(1)}" transform="translate(25391.7,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(1136.2,529) scale(0.707)" data-latex="{(1)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(389,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(889,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(977,-293.8) scale(0.707)" data-latex="{i j}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g><g data-mml-node="mi" data-latex="j" transform="translate(345,0)"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g><g data-mml-node="msub" data-latex="v_i" transform="translate(27481.6,0)"><g data-mml-node="mi" data-latex="v"><path data-c="1D463" d="M369 391C369 383 378 370 394 350 410 330 418 307 418 281 418 252 404 203 375 134 354 86 306 18 247 18 201 18 178 45 178 100 178 139 197 208 235 307 243 328 247 345 247 357 247 407 213 442 163 442 119 442 84 417 59 367 39 326 29 300 29 287 29 278 34 273 45 273 58 273 60 279 64 293 87 373 119 413 160 413 173 413 180 404 180 385 180 369 175 347 164 318 127 219 108 152 108 115 108 64 125 29 159 10 186-4 214-11 243-11 332-11 394 85 420 162 452 256 468 325 468 369 468 418 452 442 421 442 396 442 369 416 369 391Z"></path></g><g data-mml-node="mi" transform="translate(518,-150) scale(0.707)" data-latex="i"><path data-c="1D456" d="M284 621C284 648 271 661 244 661 216 661 188 633 188 605 188 578 202 565 229 565 257 565 284 593 284 621M259 138C237 59 205 19 164 19 151 19 144 28 144 47 144 64 173 150 232 306 240 329 244 347 244 360 244 409 210 445 161 445 118 445 84 420 59 369 39 328 29 301 29 288 29 279 34 275 45 275 58 275 60 281 64 295 87 375 118 415 158 415 171 415 178 406 178 387 178 373 175 357 168 338 145 275 121 208 101 155 86 115 78 88 78 74 78 25 114-11 162-11 205-11 239 14 264 64 283 103 293 130 293 145 293 154 288 159 277 159 274 159 259 150 259 138Z"></path></g></g><g data-mml-node="msubsup" data-latex="h_j^{(1)}" transform="translate(28293.5,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="TeXAtom" transform="translate(609,529) scale(0.707)" data-latex="{(1)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(389,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(889,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(609,-293.8) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g><g data-mml-node="mo" data-latex="-" transform="translate(30078.4,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="munderover" data-latex="\sum_{l=2}^L" transform="translate(31078.7,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(164.8,-1107.7) scale(0.707)" data-latex="{l=2}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(298,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="2" transform="translate(1076,0)"><path data-c="32" d="M237 666C186 666 143 648 106 612 69 576 50 534 50 483 50 449 75 424 106 424 136 424 161 450 161 480 161 513 137 536 105 536 102 536 100 536 98 535 117 584 161 627 224 627 306 627 352 556 352 470 352 403 318 331 250 255L62 43C49 28 50 29 50 0L421 0 450 180 417 180C409 129 402 100 396 91 391 86 361 84 306 84L139 84 236 179C304 243 390 312 419 365 439 400 449 435 449 470 449 588 357 666 237 666Z"></path></g></g><g data-mml-node="mi" transform="translate(481.2,1150) scale(0.707)" data-latex="L"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g></g><g data-mml-node="munderover" data-latex="\sum_{j=1}^{P_l}" transform="translate(32689.3,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(124.5,-1087.9) scale(0.707)" data-latex="{j=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(412,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1190,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(391.2,1172.6) scale(0.707)" data-latex="{P_l}" data-mjx-texclass="ORD"><g data-mml-node="msub" data-latex="P_l"><g data-mml-node="mi" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g><g data-mml-node="mi" transform="translate(675,-150) scale(0.707)" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g></g></g></g><g data-mml-node="munderover" data-latex="\sum_{k=1}^{P_{l-1}}" transform="translate(34300,0)"><g data-mml-node="mo" data-latex="\sum"><path data-c="2211" d="M1265-450 1389-124 1355-124C1336-174 1304-216 1258-250 1145-334 1000-356 791-356L200-356 700 232C707 239 710 246 710 251L244 894 781 894C970 894 1127 870 1230 804 1290 766 1332 719 1356 663L1389 663 1265 950 88 950C70 950 60 947 57 941 56 938 56 926 56 905L581 187 68-415C61-423 57-430 57-435 57-445 67-450 88-450Z"></path></g><g data-mml-node="TeXAtom" transform="translate(86,-1107.7) scale(0.707)" data-latex="{k=1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g><g data-mml-node="mo" data-latex="=" transform="translate(521,0)"><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1299,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(71.7,1208.6) scale(0.707)" data-latex="{P_{l-1}}" data-mjx-texclass="ORD"><g data-mml-node="msub" data-latex="P_{l-1}"><g data-mml-node="mi" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g><g data-mml-node="TeXAtom" transform="translate(675,-150) scale(0.707)" data-latex="{l-1}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(298,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1076,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g></g></g><g data-mml-node="msubsup" data-latex="W_{j k}^{(l)}" transform="translate(35910.7,0)"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(1136.2,529) scale(0.707)" data-latex="{(l)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="l" transform="translate(389,0)"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(687,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="TeXAtom" transform="translate(977,-317.1) scale(0.707)" data-latex="{j k}" data-mjx-texclass="ORD"><g data-mml-node="mi" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g><g data-mml-node="mi" data-latex="k" transform="translate(412,0)"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g></g><g data-mml-node="msubsup" data-latex="h_k^{(l-1)}" transform="translate(37857.7,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="TeXAtom" transform="translate(609,529) scale(0.707)" data-latex="{(l-1)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="l" transform="translate(389,0)"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex="-" transform="translate(687,0)"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1465,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(1965,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(609,-317.1) scale(0.707)" data-latex="k"><path data-c="1D458" d="M409 353C409 327 423 314 450 314 485 314 508 345 508 379 508 418 476 445 437 445 392 445 344 415 291 356 250 311 217 282 190 269L291 679C289 688 287 694 274 694 242 694 166 685 154 684 139 682 132 675 132 660 132 650 141 645 159 645 178 645 204 646 204 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 104-11 117-3 124 12 129 21 147 92 179 226 231 221 286 196 286 146 286 131 279 101 279 91 279 34 316-11 373-11 431-11 470 41 490 145 490 154 485 159 475 159 466 159 460 152 457 138 435 59 408 19 375 19 357 19 348 33 348 61 348 77 360 131 360 147 360 204 314 239 221 253 244 269 270 292 298 322 326 352 346 371 359 382 386 404 412 415 435 415 445 415 453 413 459 409 432 404 409 379 409 353Z"></path></g></g><g data-mml-node="msubsup" data-latex="h_j^{(l)}" transform="translate(40181.2,0)"><g data-mml-node="mi" data-latex="h"><path data-c="210E" d="M512 138C489 59 457 19 415 19 402 19 395 28 395 47 395 62 401 85 413 116 453 223 473 296 473 335 473 406 427 445 356 445 303 445 257 423 218 380L291 679C289 688 287 694 274 694 241 694 168 685 155 684 140 682 132 675 132 660 132 650 141 645 159 645 180 645 203 646 205 632L59 43C56 32 55 25 55 21 55 0 66-11 87-11 107-11 121-1 128 18L168 182C180 231 189 268 196 293 199 300 207 314 220 334 256 388 300 415 353 415 386 415 402 393 402 350 402 309 382 236 342 130 333 107 329 89 329 74 329 26 365-11 413-11 457-11 492 14 517 65 536 105 546 132 546 145 546 154 541 159 530 159 527 159 512 150 512 138Z"></path></g><g data-mml-node="TeXAtom" transform="translate(609,529) scale(0.707)" data-latex="{(l)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="l" transform="translate(389,0)"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(687,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g><g data-mml-node="mi" transform="translate(609,-293.8) scale(0.707)" data-latex="j"><path data-c="1D457" d="M397 621C397 648 383 661 356 661 328 661 300 633 300 605 300 578 313 565 340 565 368 565 397 593 397 621M267 444C214 444 169 404 147 369 120 326 107 299 107 287 107 278 112 274 122 274 127 274 130 275 133 276 138 284 141 291 144 296 176 375 216 414 264 414 282 414 291 400 291 373 291 358 289 341 284 323L192-46C178-104 138-175 75-175 66-175 57-174 48-171 73-161 85-143 85-118 85-92 71-79 44-79 12-79-13-108-13-140-13-184 30-205 77-205 120-205 160-190 197-160 232-131 254-94 265-51L356 311C359 324 361 337 361 349 361 404 322 444 267 444Z"></path></g></g></g></g></g></svg><svg data-labels="true" preserveAspectRatio="xMaxYMid" viewBox="1778 -1812.2 1 3124.4"><g data-labels="true" transform="matrix(1 0 0 -1 0 0)"><g data-mml-node="mtd" id="mjx-eqn:11" transform="translate(0,768.7)"><text data-id-align="true"></text><g data-idbox="true" transform="translate(0,-748)"><g data-mml-node="mtext" data-latex="\text{(11)}"><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z" transform="translate(389,0)"></path><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z" transform="translate(889,0)"></path><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z" transform="translate(1389,0)"></path></g></g></g></g></svg></g></g></g></g></svg></mjx-container></p><p>其中<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:0" xmlns="http://www.w3.org/2000/svg" width="1.541ex" height="1.548ex" role="img" focusable="false" viewBox="0 -684 681 684"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="L"><g data-mml-node="mi" data-latex="L"><path data-c="1D43F" d="M520 667C520 678 513 683 500 683L354 680 223 683C208 684 200 676 200 659 200 652 203 647 209 646 218 645 226 644 231 644 262 643 279 641 284 640 289 639 292 636 292 631 292 629 291 623 288 613L156 82C150 60 140 47 125 42 119 40 101 39 70 39 49 39 39 31 39 15 39 5 49 0 70 0L527 0C552 0 554 0 561 19L639 233C642 240 643 245 643 248 643 258 638 263 627 263 617 263 612 254 607 240 588 191 570 154 555 131 518 75 455 39 363 39L270 39C259 39 252 39 249 40 242 40 239 42 239 45 239 47 241 54 244 67L377 601C383 624 396 637 415 642 421 643 442 644 478 644 506 644 520 644 520 667Z"></path></g></g></g></svg></mjx-container> 为隐藏层数量，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.357ex" xmlns="http://www.w3.org/2000/svg" width="2.117ex" height="1.902ex" role="img" focusable="false" viewBox="0 -683 935.7 840.8"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="P_l"><g data-mml-node="msub" data-latex="P_l"><g data-mml-node="mi" data-latex="P"><path data-c="1D443" d="M555 683 235 683C212 683 201 682 201 660 201 649 212 644 234 644 254 644 294 647 294 631 294 629 293 623 290 613L158 82C152 60 142 47 128 42 121 40 103 39 72 39 50 39 40 37 40 16 40 5 46 0 59 0L184 3 248 2C259 2 299 0 312 0 328 0 336 8 336 24 336 34 325 39 304 39 264 39 244 43 244 52 244 52 245 55 247 68L307 312 472 312C537 312 599 332 657 371 722 414 754 467 754 530 754 629 660 683 555 683M524 644C611 644 654 614 654 554 654 498 626 423 597 397 559 363 509 346 447 346L313 346 379 610C387 644 387 644 429 644Z"></path></g><g data-mml-node="mi" transform="translate(675,-150) scale(0.707)" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g></g></g></g></svg></mjx-container> 为第<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.025ex" xmlns="http://www.w3.org/2000/svg" width="0.674ex" height="1.595ex" role="img" focusable="false" viewBox="0 -694 298 705"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="l"><g data-mml-node="mi" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g></g></g></svg></mjx-container> 层隐藏单元数，<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.05ex" xmlns="http://www.w3.org/2000/svg" width="4.405ex" height="2.068ex" role="img" focusable="false" viewBox="0 -891.9 1947 913.9"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="W^{(l)}"><g data-mml-node="msup" data-latex="W^{(l)}"><g data-mml-node="mi" data-latex="W"><path data-c="1D44A" d="M956 680C937 680 872 683 853 683 838 683 830 675 830 660 830 650 836 645 848 644 885 643 903 632 903 610 903 604 899 594 891 579L629 125 594 602C590 638 614 644 659 644 680 644 690 652 690 668 690 678 684 683 671 683 649 683 572 680 550 680 531 680 465 683 446 683 431 683 423 675 423 659 423 649 432 644 451 644 482 644 498 637 499 623L505 548 261 125 225 613C222 638 264 644 296 644 313 644 321 652 321 668 321 678 315 683 303 683 281 683 203 680 181 680 162 680 96 683 77 683 62 683 55 675 55 660 55 649 65 644 84 644 126 644 130 642 132 612L177 7C178-12 185-22 197-22 210-20 215-17 223-2 224-1 224 0 224 1L509 494 545 7C546-12 553-22 565-22 575-22 584-15 592-1L918 562C945 611 964 639 1025 644 1043 646 1048 651 1048 668 1048 678 1043 683 1032 683 1018 683 970 680 956 680Z"></path></g><g data-mml-node="TeXAtom" transform="translate(1136.2,363) scale(0.707)" data-latex="{(l)}" data-mjx-texclass="ORD"><g data-mml-node="mo" data-latex="("><path data-c="28" d="M318-248C327-248 332-243 332-234 332-231 330-227 327-223 275-183 233-117 202-26 175 53 161 131 161 208L161 292C161 369 175 447 202 526 233 617 275 683 327 723 330 726 332 730 332 734 332 743 327 748 318 748 317 748 314 747 311 745 251 699 201 631 160 540 121 453 101 371 101 292L101 208C101 129 121 47 160-40 201-131 251-199 311-245 314-247 317-248 318-248Z"></path></g><g data-mml-node="mi" data-latex="l" transform="translate(389,0)"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g><g data-mml-node="mo" data-latex=")" transform="translate(687,0)"><path data-c="29" d="M78-245C138-199 188-131 229-40 268 47 288 129 288 208L288 292C288 371 268 453 229 540 188 631 138 699 78 745 75 747 72 748 71 748 62 748 57 743 57 734 57 730 59 726 62 723 114 683 156 617 187 526 214 447 228 369 228 292L228 208C228 131 214 53 187-26 156-117 114-183 62-223 59-227 57-231 57-234 57-243 62-248 71-248 72-248 75-247 78-245Z"></path></g></g></g></g></g></svg></mjx-container> 为第<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.025ex" xmlns="http://www.w3.org/2000/svg" width="0.674ex" height="1.595ex" role="img" focusable="false" viewBox="0 -694 298 705"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="l"><g data-mml-node="mi" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g></g></g></svg></mjx-container> 层与第<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="0.674ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 298 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="l-1"><g data-mml-node="mi" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g></g></g></svg><mjx-break size="3"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.394ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1500.2 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="l-1"><g data-mml-node="mo" data-latex="-"><path data-c="2212" d="M698 270 80 270C64 270 56 263 56 250 56 237 64 230 80 230L698 230C714 230 722 237 722 250 722 262 710 270 698 270Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1000.2,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g></svg></mjx-container> 层的连接权重（<mjx-container class="MathJax" jax="SVG" overflow="overflow"><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="0.674ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 298 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="l=1"><g data-mml-node="mi" data-latex="l"><path data-c="1D459" d="M173 632 49 119C46 105 44 93 44 84 44 31 83-11 136-11 185-11 220 41 241 145 241 154 236 159 225 159 217 159 211 152 208 138 188 59 165 19 138 19 121 19 113 33 113 60 113 75 115 91 119 107L258 679 258 683C255 690 249 694 242 694 210 694 136 685 124 684 109 682 102 674 102 659 102 650 111 645 130 645 147 645 173 645 173 632Z"></path></g></g></g></svg><mjx-break size="4"></mjx-break><svg style="vertical-align:-.566ex" xmlns="http://www.w3.org/2000/svg" width="3.52ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1555.8 1000"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math" data-latex="l=1"><g data-mml-node="mo" data-latex="="><path data-c="3D" d="M698 367 80 367C64 367 56 359 56 344 56 329 64 321 80 321L698 321C714 321 722 329 722 344 722 356 711 367 698 367M698 179 80 179C64 179 56 171 56 156 56 141 64 133 80 133L698 133C714 133 722 141 722 156 722 169 711 179 698 179Z"></path></g><g data-mml-node="mn" data-latex="1" transform="translate(1055.8,0)"><path data-c="31" d="M269 666C228 624 168 603 89 603L89 564C141 564 184 572 217 588L217 82C217 64 213 52 204 47 195 42 170 39 130 39L95 39 95 0C120 2 174 3 257 3 340 3 394 2 419 0L419 39 384 39C343 39 318 42 310 47 302 52 297 64 297 82L297 636C297 660 295 666 269 666Z"></path></g></g></g></svg></mjx-container> 时连接可见层与第一层隐藏层）。</p><p>DBM 的训练通常分为预训练和微调两个阶段：</p><ol><li><strong>预训练</strong>：逐层训练 RBM，将上一层 RBM 的隐藏层输出作为下一层 RBM 的输入，初始化各层权重。</li><li><strong>微调</strong>：通过随机梯度上升（Stochastic Gradient Ascent, SGA）优化整个 DBM 的对数似然，需使用马尔可夫链蒙特卡洛（MCMC）方法采样模型分布。</li></ol></div><div class="story post-story"><h2 id="玻尔兹曼机的应用与扩展"><a href="#玻尔兹曼机的应用与扩展" class="headerlink" title="玻尔兹曼机的应用与扩展"></a>玻尔兹曼机的应用与扩展</h2><h3 id="传统应用领域"><a href="#传统应用领域" class="headerlink" title="传统应用领域"></a>传统应用领域</h3><p>协同过滤：RBM 在 Netflix Prize 中被用于电影推荐，通过学习用户 - 电影评分的联合分布实现个性化推荐。例如，将用户对电影的评分作为可见单元，隐藏单元学习潜在特征（如电影类型），通过重构评分预测用户偏好。<br>特征学习：RBM 可作为无监督特征提取器，应用于图像识别（如 MNIST 数据集）和语音识别。例如，第一层 RBM 学习边缘特征，第二层学习复杂形状特征，堆叠形成深度信念网络（DBN）。<br>降维与聚类：RBM 通过隐藏层将高维数据映射到低维空间，保留数据的关键结构，可用于数据压缩和聚类分析。</p><h3 id="量子计算中的新应用"><a href="#量子计算中的新应用" class="headerlink" title="量子计算中的新应用"></a>量子计算中的新应用</h3><p>随着量子计算的发展，量子玻尔兹曼机（Quantum Boltzmann Machine, QBM）成为研究热点。例如，量子计算机通过 QBM 与 AI 的融合，解决了经典计算在小分子药物设计、病毒突变预测中的加速痛点。其核心思想是利用量子隧穿效应加速采样过程，大幅提升玻尔兹曼机的训练效率。</p></div><div class="story post-story"><h2 id="未来展望：从历史到量子未来"><a href="#未来展望：从历史到量子未来" class="headerlink" title="未来展望：从历史到量子未来"></a>未来展望：从历史到量子未来</h2><p>玻尔兹曼机虽已不是当前深度学习的主流模型，但其作为连接统计物理与机器学习的桥梁，为深度学习的发展提供了关键思路，如无监督预训练、生成式建模等。将玻尔兹曼机比作 “历史酶”，其催化了深度学习的突破。未来，随着量子计算技术的成熟，量子玻尔兹曼机有望解决经典玻尔兹曼机的训练瓶颈，在药物研发、金融优化等领域发挥更大作用。同时，玻尔兹曼机的 “清醒 - 睡眠” 学习范式（数据驱动的正相和模型驱动的负相）为类脑智能研究提供了重要启示，大脑是否也通过类似机制在睡眠中 “反学习” 以优化记忆和认知，这一问题或将推动人工智能与神经科学的进一步融合。</p></div></div><div class="footer"></div><div class="article-meta" id="bottom"><div class="new-meta-box"></div></div><div class="prev-next"><a class="prev" href="/notes/Zeta/143"><p class="title"><i class="fa-solid fa-chevron-left" aria-hidden="true"></i>马尔可夫过程：从历史起源到数学推导与应用</p><p class="content">本文介绍了马尔可夫过程的核心概念，从历史起源到离散与连续时间模型的定义。文章详细阐述了其数学性质，包括马尔可夫性、转移概率矩阵、切普曼-科尔莫戈罗夫方程以及平稳分布的存在性证明，并探讨了其在排队系统和强化学习等领域的应用</p></a><a class="next" href="/notes/Zeta/145"><p class="title">乌拉姆素数螺旋：从偶然发现到数论谜题数学直觉与计算验证的传奇故事<i class="fa-solid fa-chevron-right" aria-hidden="true"></i></p><p class="content">乌拉姆素数螺旋揭示了素数在二维网格上令人惊奇的排列模式，由数学家斯坦尼斯瓦夫·乌拉姆在一次偶然中发现。这一发现不仅挑战了对素数随机分布的固有印象，更启发了对数论与复杂系统之间潜在联系的深入研究。</p></a></div><div class="recommended-article"><div class="recommended-article-header"><i class="fa-solid fa-bookmark fa-fw" aria-hidden="true"></i> <span>推荐阅读</span></div><div class="recommended-article-group"> <a class="recommended-article-item" href="/notes/Zeta/141.html" title="跨学科视角下的二次优化模型及其在数论中的启示" rel="bookmark"><img src="https://static.mhuig.top/npm/imbox@0.0.15/c/61.webp" class="lazyload" data-srcset="https://static.mhuig.top/npm/imbox@0.0.15/c/61.webp" srcset="data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" alt="跨学科视角下的二次优化模型及其在数论中的启示"> <span class="title">跨学科视角下的二次优化模型及其在数论中的启示</span></a> <a class="recommended-article-item" href="/notes/Zeta/140.html" title="Hopfield模型：连接物理与智能的桥梁，从经典联想记忆到现代Transformer的理论基石" rel="bookmark"><img src="https://static.mhuig.top/npm/imbox@0.0.15/c/35.webp" class="lazyload" data-srcset="https://static.mhuig.top/npm/imbox@0.0.15/c/35.webp" srcset="data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" alt="Hopfield模型：连接物理与智能的桥梁，从经典联想记忆到现代Transformer的理论基石"> <span class="title">Hopfield模型：连接物理与智能的桥梁，从经典联想记忆到现代Transformer的理论基石</span></a> <a class="recommended-article-item" href="/notes/Zeta/138.html" title="Markowitz模型：量化风险收益权衡，奠定现代投资组合理论基石" rel="bookmark"><img src="https://static.mhuig.top/npm/imbox@0.0.15/c/22.webp" class="lazyload" data-srcset="https://static.mhuig.top/npm/imbox@0.0.15/c/22.webp" srcset="data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" alt="Markowitz模型：量化风险收益权衡，奠定现代投资组合理论基石"> <span class="title">Markowitz模型：量化风险收益权衡，奠定现代投资组合理论基石</span></a> <a class="recommended-article-item" href="/notes/Zeta/143.html" title="马尔可夫过程：从历史起源到数学推导与应用" rel="bookmark"><img src="https://static.mhuig.top/npm/imbox@0.0.15/c/61.webp" class="lazyload" data-srcset="https://static.mhuig.top/npm/imbox@0.0.15/c/61.webp" srcset="data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" alt="马尔可夫过程：从历史起源到数学推导与应用"> <span class="title">马尔可夫过程：从历史起源到数学推导与应用</span></a> <a class="recommended-article-item" href="/notes/Zeta/148.html" title="数学自循环演化系统：埃尔德什机、欧拉机、哥德尔机与罗素机的整合" rel="bookmark"><img src="https://static.mhuig.top/npm/imbox@0.0.15/c/49.webp" class="lazyload" data-srcset="https://static.mhuig.top/npm/imbox@0.0.15/c/49.webp" srcset="data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" alt="数学自循环演化系统：埃尔德什机、欧拉机、哥德尔机与罗素机的整合"> <span class="title">数学自循环演化系统：埃尔德什机、欧拉机、哥德尔机与罗素机的整合</span></a> <a class="recommended-article-item" href="/notes/CentOS/index.html" title="CentOS" rel="bookmark"><img src="https://static.mhuig.top/npm/imbox@0.0.15/c/94.webp" class="lazyload" data-srcset="https://static.mhuig.top/npm/imbox@0.0.15/c/94.webp" srcset="data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" alt="CentOS"> <span class="title">CentOS</span></a></div></div></article><article class="post white-box shadow floatable blur" id="comments"><span hidden=""><meta itemprop="discussionUrl" content="/notes/Zeta/144#comments"></span><p ct=""><i class="fa-duotone fa-comments"></i> 留言区</p><div id="layoutHelper-comments"></div></article></div><aside id="l_side" itemscope="" itemtype="http://schema.org/WPSideBar"><section class="widget text desktop mobile pjax"><header><a href="/notes/"><i class="fa-duotone fa-book fa-fw" aria-hidden="true"></i> <span class="name">Notes</span></a></header><div class="content"></div></section><section class="widget list group desktop mobile pjax"><header><i class="fa-duotone fa-square-z fa-fw" aria-hidden="true"></i> <span class="name">Zeta Archive</span></header><div class="content"><ul class="list entry navigation"><li><a class="flat-box" title="/notes/Zeta/" href="/notes/Zeta/" active-action="action-notesZeta"><div class="name"> Welcome</div></a></li><li><a class="flat-box" title="/notes/Zeta/1" href="/notes/Zeta/1" active-action="action-notesZeta1"><div class="name"> Leibniz</div></a></li><li><a class="flat-box" title="/notes/Zeta/2" href="/notes/Zeta/2" active-action="action-notesZeta2"><div class="name"> On the Number of Primes Less Than a Given Magnitude</div></a></li><li><a class="flat-box" title="/notes/Zeta/3" href="/notes/Zeta/3" active-action="action-notesZeta3"><div class="name"> Clebsch's fair copy of Riemann's publication</div></a></li><li><a class="flat-box" title="/notes/Zeta/4" href="/notes/Zeta/4" active-action="action-notesZeta4"><div class="name"> Clebsch's fair copy of Riemann's publication</div></a></li><li><a class="flat-box" title="/notes/Zeta/5" href="/notes/Zeta/5" active-action="action-notesZeta5"><div class="name"> Riemann’s 1859 Manuscript</div></a></li><li><a class="flat-box" title="/notes/Zeta/6" href="/notes/Zeta/6" active-action="action-notesZeta6"><div class="name"> Ueber die Anzahl der Primzahlen unter einer gegebenen Grösse</div></a></li><li><a class="flat-box" title="/notes/Zeta/7" href="/notes/Zeta/7" active-action="action-notesZeta7"><div class="name"> On the Number of Primes Less Than a Given Quantity</div></a></li><li><a class="flat-box" title="/notes/Zeta/8" href="/notes/Zeta/8" active-action="action-notesZeta8"><div class="name"> Riemann’s Zeta Function</div></a></li><li><a class="flat-box" title="/notes/Zeta/9" href="/notes/Zeta/9" active-action="action-notesZeta9"><div class="name"> Euclid素数无限定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/10" href="/notes/Zeta/10" active-action="action-notesZeta10"><div class="name"> 埃拉托斯特尼筛法</div></a></li><li><a class="flat-box" title="/notes/Zeta/11" href="/notes/Zeta/11" active-action="action-notesZeta11"><div class="name"> Euler对无穷级数的若干观察</div></a></li><li><a class="flat-box" title="/notes/Zeta/12" href="/notes/Zeta/12" active-action="action-notesZeta12"><div class="name"> 欧拉乘积公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/13" href="/notes/Zeta/13" active-action="action-notesZeta13"><div class="name"> 牛顿广义二项式定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/14" href="/notes/Zeta/14" active-action="action-notesZeta14"><div class="name"> 二年级之梦</div></a></li><li><a class="flat-box" title="/notes/Zeta/15" href="/notes/Zeta/15" active-action="action-notesZeta15"><div class="name"> 罗素悖论</div></a></li><li><a class="flat-box" title="/notes/Zeta/16" href="/notes/Zeta/16" active-action="action-notesZeta16"><div class="name"> 哥德尔不完备性定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/17" href="/notes/Zeta/17" active-action="action-notesZeta17"><div class="name"> 停机问题</div></a></li><li><a class="flat-box" title="/notes/Zeta/18" href="/notes/Zeta/18" active-action="action-notesZeta18"><div class="name"> 素数定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/19" href="/notes/Zeta/19" active-action="action-notesZeta19"><div class="name"> 对数运算法则</div></a></li><li><a class="flat-box" title="/notes/Zeta/20" href="/notes/Zeta/20" active-action="action-notesZeta20"><div class="name"> 本福特定律</div></a></li><li><a class="flat-box" title="/notes/Zeta/21" href="/notes/Zeta/21" active-action="action-notesZeta21"><div class="name"> 狄利克雷Eta函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/22" href="/notes/Zeta/22" active-action="action-notesZeta22"><div class="name"> 留数定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/23" href="/notes/Zeta/23" active-action="action-notesZeta23"><div class="name"> 多项式分式前n项和变换为积分</div></a></li><li><a class="flat-box" title="/notes/Zeta/24" href="/notes/Zeta/24" active-action="action-notesZeta24"><div class="name"> 梅林变换</div></a></li><li><a class="flat-box" title="/notes/Zeta/25" href="/notes/Zeta/25" active-action="action-notesZeta25"><div class="name"> 佩龙公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/26" href="/notes/Zeta/26" active-action="action-notesZeta26"><div class="name"> 曼戈尔特函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/27" href="/notes/Zeta/27" active-action="action-notesZeta27"><div class="name"> 黎曼素数计数函数J(x)</div></a></li><li><a class="flat-box" title="/notes/Zeta/28" href="/notes/Zeta/28" active-action="action-notesZeta28"><div class="name"> 莫比乌斯反演</div></a></li><li><a class="flat-box" title="/notes/Zeta/29" href="/notes/Zeta/29" active-action="action-notesZeta29"><div class="name"> 斯蒂尔杰斯积分</div></a></li><li><a class="flat-box" title="/notes/Zeta/30" href="/notes/Zeta/30" active-action="action-notesZeta30"><div class="name"> 威尔斯特拉斯无穷乘积展开</div></a></li><li><a class="flat-box" title="/notes/Zeta/31" href="/notes/Zeta/31" active-action="action-notesZeta31"><div class="name"> 不知名的碎片1</div></a></li><li><a class="flat-box" title="/notes/Zeta/32" href="/notes/Zeta/32" active-action="action-notesZeta32"><div class="name"> 不知名的碎片2</div></a></li><li><a class="flat-box" title="/notes/Zeta/33" href="/notes/Zeta/33" active-action="action-notesZeta33"><div class="name"> 不知名的碎片3</div></a></li><li><a class="flat-box" title="/notes/Zeta/34" href="/notes/Zeta/34" active-action="action-notesZeta34"><div class="name"> 根号2的无理性证明</div></a></li><li><a class="flat-box" title="/notes/Zeta/35" href="/notes/Zeta/35" active-action="action-notesZeta35"><div class="name"> e的无理性证明</div></a></li><li><a class="flat-box" title="/notes/Zeta/36" href="/notes/Zeta/36" active-action="action-notesZeta36"><div class="name"> π的无理性证明</div></a></li><li><a class="flat-box" title="/notes/Zeta/37" href="/notes/Zeta/37" active-action="action-notesZeta37"><div class="name"> Zeta的无理性之谜</div></a></li><li><a class="flat-box" title="/notes/Zeta/38" href="/notes/Zeta/38" active-action="action-notesZeta38"><div class="name"> Niven的无理数</div></a></li><li><a class="flat-box" title="/notes/Zeta/39" href="/notes/Zeta/39" active-action="action-notesZeta39"><div class="name"> 柯西方法</div></a></li><li><a class="flat-box" title="/notes/Zeta/40" href="/notes/Zeta/40" active-action="action-notesZeta40"><div class="name"> 积性函数蕴含迭代结构</div></a></li><li><a class="flat-box" title="/notes/Zeta/41" href="/notes/Zeta/41" active-action="action-notesZeta41"><div class="name"> 黎曼 Zeta 函数是分形</div></a></li><li><a class="flat-box" title="/notes/Zeta/42" href="/notes/Zeta/42" active-action="action-notesZeta42"><div class="name"> 沃罗宁定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/43" href="/notes/Zeta/43" active-action="action-notesZeta43"><div class="name"> 迭代积分</div></a></li><li><a class="flat-box" title="/notes/Zeta/44" href="/notes/Zeta/44" active-action="action-notesZeta44"><div class="name"> 高阶导数</div></a></li><li><a class="flat-box" title="/notes/Zeta/45" href="/notes/Zeta/45" active-action="action-notesZeta45"><div class="name"> 阿贝尔变换</div></a></li><li><a class="flat-box" title="/notes/Zeta/46" href="/notes/Zeta/46" active-action="action-notesZeta46"><div class="name"> 泊松求和公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/47" href="/notes/Zeta/47" active-action="action-notesZeta47"><div class="name"> Theta函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/48" href="/notes/Zeta/48" active-action="action-notesZeta48"><div class="name"> 魔群</div></a></li><li><a class="flat-box" title="/notes/Zeta/49" href="/notes/Zeta/49" active-action="action-notesZeta49"><div class="name"> 朗兰兹纲领</div></a></li><li><a class="flat-box" title="/notes/Zeta/50" href="/notes/Zeta/50" active-action="action-notesZeta50"><div class="name"> 黎曼Zeta函数的解析延拓</div></a></li><li><a class="flat-box" title="/notes/Zeta/51" href="/notes/Zeta/51" active-action="action-notesZeta51"><div class="name"> 积分与求和交换顺序</div></a></li><li><a class="flat-box" title="/notes/Zeta/52" href="/notes/Zeta/52" active-action="action-notesZeta52"><div class="name"> 魏尔斯特拉斯判别法</div></a></li><li><a class="flat-box" title="/notes/Zeta/53" href="/notes/Zeta/53" active-action="action-notesZeta53"><div class="name"> Zeta函数的函数方程</div></a></li><li><a class="flat-box" title="/notes/Zeta/54" href="/notes/Zeta/54" active-action="action-notesZeta54"><div class="name"> Zeta函数解析延拓的经典方法</div></a></li><li><a class="flat-box" title="/notes/Zeta/55" href="/notes/Zeta/55" active-action="action-notesZeta55"><div class="name"> 黎曼Xi函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/56" href="/notes/Zeta/56" active-action="action-notesZeta56"><div class="name"> 黎曼关于Zeta函数零点分布的三个核心论断</div></a></li><li><a class="flat-box" title="/notes/Zeta/57" href="/notes/Zeta/57" active-action="action-notesZeta57"><div class="name"> 黎曼的整体思路</div></a></li><li><a class="flat-box" title="/notes/Zeta/58" href="/notes/Zeta/58" active-action="action-notesZeta58"><div class="name"> 筛法的奇偶障碍</div></a></li><li><a class="flat-box" title="/notes/Zeta/59" href="/notes/Zeta/59" active-action="action-notesZeta59"><div class="name"> 黎曼非平凡零点计数渐近公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/60" href="/notes/Zeta/60" active-action="action-notesZeta60"><div class="name"> Zeta非平凡零点虚部渐近公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/61" href="/notes/Zeta/61" active-action="action-notesZeta61"><div class="name"> 黎曼Zeta函数非平凡零点虚部研究的历史脉络</div></a></li><li><a class="flat-box" title="/notes/Zeta/62" href="/notes/Zeta/62" active-action="action-notesZeta62"><div class="name"> 黎曼Zeta函数非平凡零点虚部的表达式</div></a></li><li><a class="flat-box" title="/notes/Zeta/63" href="/notes/Zeta/63" active-action="action-notesZeta63"><div class="name"> 黎曼-西格尔公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/64" href="/notes/Zeta/64" active-action="action-notesZeta64"><div class="name"> On Riemann’s Nachlass for Analytic Number Theory Siegel(1932)</div></a></li><li><a class="flat-box" title="/notes/Zeta/65" href="/notes/Zeta/65" active-action="action-notesZeta65"><div class="name"> 论黎曼解析数论遗稿 西格尔(1932)[中文]</div></a></li><li><a class="flat-box" title="/notes/Zeta/66" href="/notes/Zeta/66" active-action="action-notesZeta66"><div class="name"> 不知名的碎片4</div></a></li><li><a class="flat-box" title="/notes/Zeta/67" href="/notes/Zeta/67" active-action="action-notesZeta67"><div class="name"> 不知名的碎片5</div></a></li><li><a class="flat-box" title="/notes/Zeta/68" href="/notes/Zeta/68" active-action="action-notesZeta68"><div class="name"> 不知名的碎片6</div></a></li><li><a class="flat-box" title="/notes/Zeta/69" href="/notes/Zeta/69" active-action="action-notesZeta69"><div class="name"> 不知名的碎片7</div></a></li><li><a class="flat-box" title="/notes/Zeta/70" href="/notes/Zeta/70" active-action="action-notesZeta70"><div class="name"> Zeta(3)</div></a></li><li><a class="flat-box" title="/notes/Zeta/71" href="/notes/Zeta/71" active-action="action-notesZeta71"><div class="name"> 与RH等价的命题</div></a></li><li><a class="flat-box" title="/notes/Zeta/72" href="/notes/Zeta/72" active-action="action-notesZeta72"><div class="name"> 黎曼ξ函数的对数表示与其零点乘积形式</div></a></li><li><a class="flat-box" title="/notes/Zeta/73" href="/notes/Zeta/73" active-action="action-notesZeta73"><div class="name"> 黎曼ξ函数对数展开的历史</div></a></li><li><a class="flat-box" title="/notes/Zeta/74" href="/notes/Zeta/74" active-action="action-notesZeta74"><div class="name"> 阿达马因子分解定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/75" href="/notes/Zeta/75" active-action="action-notesZeta75"><div class="name"> 戴森与蒙哥马利的跨学科邂逅</div></a></li><li><a class="flat-box" title="/notes/Zeta/76" href="/notes/Zeta/76" active-action="action-notesZeta76"><div class="name"> 希尔伯特-波利亚猜想</div></a></li><li><a class="flat-box" title="/notes/Zeta/77" href="/notes/Zeta/77" active-action="action-notesZeta77"><div class="name"> 蒙哥马利-奥德利兹科定律</div></a></li><li><a class="flat-box" title="/notes/Zeta/78" href="/notes/Zeta/78" active-action="action-notesZeta78"><div class="name"> 黎曼Zeta函数的表示方法</div></a></li><li><a class="flat-box" title="/notes/Zeta/79" href="/notes/Zeta/79" active-action="action-notesZeta79"><div class="name"> 拉马努金主定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/80" href="/notes/Zeta/80" active-action="action-notesZeta80"><div class="name"> 不知名的碎片8</div></a></li><li><a class="flat-box" title="/notes/Zeta/81" href="/notes/Zeta/81" active-action="action-notesZeta81"><div class="name"> 不知名的碎片9</div></a></li><li><a class="flat-box" title="/notes/Zeta/82" href="/notes/Zeta/82" active-action="action-notesZeta82"><div class="name"> 不知名的碎片10</div></a></li><li><a class="flat-box" title="/notes/Zeta/83" href="/notes/Zeta/83" active-action="action-notesZeta83"><div class="name"> 不知名的碎片11</div></a></li><li><a class="flat-box" title="/notes/Zeta/84" href="/notes/Zeta/84" active-action="action-notesZeta84"><div class="name"> 哈代定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/85" href="/notes/Zeta/85" active-action="action-notesZeta85"><div class="name"> 解析延拓的局限性</div></a></li><li><a class="flat-box" title="/notes/Zeta/86" href="/notes/Zeta/86" active-action="action-notesZeta86"><div class="name"> P对NP问题：计算复杂性的终极谜题</div></a></li><li><a class="flat-box" title="/notes/Zeta/87" href="/notes/Zeta/87" active-action="action-notesZeta87"><div class="name"> 广义化思维：从特殊到一般</div></a></li><li><a class="flat-box" title="/notes/Zeta/88" href="/notes/Zeta/88" active-action="action-notesZeta88"><div class="name"> 问题的归约</div></a></li><li><a class="flat-box" title="/notes/Zeta/89" href="/notes/Zeta/89" active-action="action-notesZeta89"><div class="name"> Shor算法</div></a></li><li><a class="flat-box" title="/notes/Zeta/90" href="/notes/Zeta/90" active-action="action-notesZeta90"><div class="name"> 子集和问题的NPC属性证明</div></a></li><li><a class="flat-box" title="/notes/Zeta/91" href="/notes/Zeta/91" active-action="action-notesZeta91"><div class="name"> 函数零点问题的等价转化及黎曼猜想的方法论困境</div></a></li><li><a class="flat-box" title="/notes/Zeta/92" href="/notes/Zeta/92" active-action="action-notesZeta92"><div class="name"> 黎曼素数计数函数 J(x) 的自然截断现象与截断点分析</div></a></li><li><a class="flat-box" title="/notes/Zeta/93" href="/notes/Zeta/93" active-action="action-notesZeta93"><div class="name"> 拉普拉斯变换</div></a></li><li><a class="flat-box" title="/notes/Zeta/94" href="/notes/Zeta/94" active-action="action-notesZeta94"><div class="name"> 莫比乌斯函数与黎曼 Zeta 函数的深刻联系</div></a></li><li><a class="flat-box" title="/notes/Zeta/95" href="/notes/Zeta/95" active-action="action-notesZeta95"><div class="name"> 特殊函数倍乘公式的统一性</div></a></li><li><a class="flat-box" title="/notes/Zeta/96" href="/notes/Zeta/96" active-action="action-notesZeta96"><div class="name"> 塞尔伯格渐近公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/97" href="/notes/Zeta/97" active-action="action-notesZeta97"><div class="name"> 塞尔伯格Zeta函数非平凡零点的正密率</div></a></li><li><a class="flat-box" title="/notes/Zeta/98" href="/notes/Zeta/98" active-action="action-notesZeta98"><div class="name"> 塞尔伯格磨光函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/99" href="/notes/Zeta/99" active-action="action-notesZeta99"><div class="name"> 磨光技术</div></a></li><li><a class="flat-box" title="/notes/Zeta/100" href="/notes/Zeta/100" active-action="action-notesZeta100"><div class="name"> 黎曼Zeta函数临界线幅角函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/101" href="/notes/Zeta/101" active-action="action-notesZeta101"><div class="name"> 玻尔-兰道定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/102" href="/notes/Zeta/102" active-action="action-notesZeta102"><div class="name"> 哈代-利特尔伍德临界线定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/103" href="/notes/Zeta/103" active-action="action-notesZeta103"><div class="name"> 塞尔伯格临界线定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/104" href="/notes/Zeta/104" active-action="action-notesZeta104"><div class="name"> 莱文森临界线定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/105" href="/notes/Zeta/105" active-action="action-notesZeta105"><div class="name"> 康瑞临界线定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/106" href="/notes/Zeta/106" active-action="action-notesZeta106"><div class="name"> Zeta函数非平凡零点虚部的无理性与超越性之谜</div></a></li><li><a class="flat-box" title="/notes/Zeta/107" href="/notes/Zeta/107" active-action="action-notesZeta107"><div class="name"> 塞尔伯格迹公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/108" href="/notes/Zeta/108" active-action="action-notesZeta108"><div class="name"> 复制函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/109" href="/notes/Zeta/109" active-action="action-notesZeta109"><div class="name"> 塞尔伯格筛法</div></a></li><li><a class="flat-box" title="/notes/Zeta/110" href="/notes/Zeta/110" active-action="action-notesZeta110"><div class="name"> 庞加莱猜想与奇点手术</div></a></li><li><a class="flat-box" title="/notes/Zeta/111" href="/notes/Zeta/111" active-action="action-notesZeta111"><div class="name"> 先磨光再解析延拓</div></a></li><li><a class="flat-box" title="/notes/Zeta/112" href="/notes/Zeta/112" active-action="action-notesZeta112"><div class="name"> 朗道-西格尔零点猜想</div></a></li><li><a class="flat-box" title="/notes/Zeta/113" href="/notes/Zeta/113" active-action="action-notesZeta113"><div class="name"> 等差数列上的素数分布</div></a></li><li><a class="flat-box" title="/notes/Zeta/114" href="/notes/Zeta/114" active-action="action-notesZeta114"><div class="name"> 大筛法</div></a></li><li><a class="flat-box" title="/notes/Zeta/115" href="/notes/Zeta/115" active-action="action-notesZeta115"><div class="name"> 模性定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/116" href="/notes/Zeta/116" active-action="action-notesZeta116"><div class="name"> 相邻素数间的有界间隔</div></a></li><li><a class="flat-box" title="/notes/Zeta/117" href="/notes/Zeta/117" active-action="action-notesZeta117"><div class="name"> 克拉梅尔模型与孪生素数猜想</div></a></li><li><a class="flat-box" title="/notes/Zeta/118" href="/notes/Zeta/118" active-action="action-notesZeta118"><div class="name"> Zeta函数的洛朗展开</div></a></li><li><a class="flat-box" title="/notes/Zeta/119" href="/notes/Zeta/119" active-action="action-notesZeta119"><div class="name"> Zeta函数与欧拉常数的关系</div></a></li><li><a class="flat-box" title="/notes/Zeta/120" href="/notes/Zeta/120" active-action="action-notesZeta120"><div class="name"> 黎曼Zeta函数的矩问题</div></a></li><li><a class="flat-box" title="/notes/Zeta/121" href="/notes/Zeta/121" active-action="action-notesZeta121"><div class="name"> 第n个素数的通项公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/122" href="/notes/Zeta/122" active-action="action-notesZeta122"><div class="name"> AKS算法证明素数判定属于P类问题</div></a></li><li><a class="flat-box" title="/notes/Zeta/123" href="/notes/Zeta/123" active-action="action-notesZeta123"><div class="name"> 米勒-拉宾素性检验</div></a></li><li><a class="flat-box" title="/notes/Zeta/124" href="/notes/Zeta/124" active-action="action-notesZeta124"><div class="name"> 中国剩余定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/125" href="/notes/Zeta/125" active-action="action-notesZeta125"><div class="name"> 二次互反律</div></a></li><li><a class="flat-box" title="/notes/Zeta/126" href="/notes/Zeta/126" active-action="action-notesZeta126"><div class="name"> 不知名的碎片12</div></a></li><li><a class="flat-box" title="/notes/Zeta/127" href="/notes/Zeta/127" active-action="action-notesZeta127"><div class="name"> 斯特林公式</div></a></li><li><a class="flat-box" title="/notes/Zeta/128" href="/notes/Zeta/128" active-action="action-notesZeta128"><div class="name"> 梅森素数</div></a></li><li><a class="flat-box" title="/notes/Zeta/129" href="/notes/Zeta/129" active-action="action-notesZeta129"><div class="name"> 全一素数</div></a></li><li><a class="flat-box" title="/notes/Zeta/130" href="/notes/Zeta/130" active-action="action-notesZeta130"><div class="name"> 华里士公式与欧拉 Beta 函数</div></a></li><li><a class="flat-box" title="/notes/Zeta/131" href="/notes/Zeta/131" active-action="action-notesZeta131"><div class="name"> Bombieri-Vinogradov 定理</div></a></li><li><a class="flat-box" title="/notes/Zeta/132" href="/notes/Zeta/132" active-action="action-notesZeta132"><div class="name"> EH猜想</div></a></li><li><a class="flat-box" title="/notes/Zeta/133" href="/notes/Zeta/133" active-action="action-notesZeta133"><div class="name"> Sarnak纲领性猜想：轨道上的素数分布理论</div></a></li><li><a class="flat-box" title="/notes/Zeta/134" href="/notes/Zeta/134" active-action="action-notesZeta134"><div class="name"> 圆法</div></a></li><li><a class="flat-box" title="/notes/Zeta/135" href="/notes/Zeta/135" active-action="action-notesZeta135"><div class="name"> Bourgain-Gamburd-Sarnak猜想</div></a></li><li><a class="flat-box" title="/notes/Zeta/136" href="/notes/Zeta/136" active-action="action-notesZeta136"><div class="name"> 从L函数到动力系统的深层联系</div></a></li><li><a class="flat-box" title="/notes/Zeta/137" href="/notes/Zeta/137" active-action="action-notesZeta137"><div class="name"> 量子唯一遍历性</div></a></li><li><a class="flat-box" title="/notes/Zeta/138" href="/notes/Zeta/138" active-action="action-notesZeta138"><div class="name"> 投资组合优化 Markowitz 模型</div></a></li><li><a class="flat-box" title="/notes/Zeta/139" href="/notes/Zeta/139" active-action="action-notesZeta139"><div class="name"> 凝聚态物理 谢林顿-柯克帕特里克模型</div></a></li><li><a class="flat-box" title="/notes/Zeta/140" href="/notes/Zeta/140" active-action="action-notesZeta140"><div class="name"> 神经网络 Hopfield 模型</div></a></li><li><a class="flat-box" title="/notes/Zeta/141" href="/notes/Zeta/141" active-action="action-notesZeta141"><div class="name"> 跨学科视角下的二次优化模型</div></a></li><li><a class="flat-box" title="/notes/Zeta/142" href="/notes/Zeta/142" active-action="action-notesZeta142"><div class="name"> 不知名的碎片13</div></a></li><li><a class="flat-box" title="/notes/Zeta/143" href="/notes/Zeta/143" active-action="action-notesZeta143"><div class="name"> 马尔可夫过程</div></a></li><li><a class="flat-box" title="/notes/Zeta/144" href="/notes/Zeta/144" active-action="action-notesZeta144"><div class="name"> 玻尔兹曼机</div></a></li><li><a class="flat-box" title="/notes/Zeta/145" href="/notes/Zeta/145" active-action="action-notesZeta145"><div class="name"> 乌拉姆素数螺旋</div></a></li><li><a class="flat-box" title="/notes/Zeta/146" href="/notes/Zeta/146" active-action="action-notesZeta146"><div class="name"> 计算不可约性</div></a></li><li><a class="flat-box" title="/notes/Zeta/147" href="/notes/Zeta/147" active-action="action-notesZeta147"><div class="name"> TREE(3)</div></a></li><li><a class="flat-box" title="/notes/Zeta/148" href="/notes/Zeta/148" active-action="action-notesZeta148"><div class="name"> 数学自循环演化系统 [胡说八道]</div></a></li><li><a class="flat-box" title="/notes/Zeta/149" href="/notes/Zeta/149" active-action="action-notesZeta149"><div class="name"> 不知名的碎片14</div></a></li><li><a class="flat-box" title="/notes/Zeta/150" href="/notes/Zeta/150" active-action="action-notesZeta150"><div class="name"> L-函数的分析构造与自守形式的联系</div></a></li></ul></div></section><div class="widget-sticky pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div><div class="pjax"></div></aside><pjax><script>window.pdata={},pdata.ispage=!1,pdata.commentPath="",pdata.commentPlaceholder="",pdata.commentConfig={};var l_header=document.getElementById("l_header");l_header.classList.add("show");var cover_wrapper=document.querySelector("#l_cover .cover-wrapper"),scroll_down=document.getElementById("scroll-down");cover_wrapper.id="none",cover_wrapper.style.display="none",scroll_down.style.display="none"</script></pjax></div><footer class="footer clearfix" itemscope="" itemtype="http://schema.org/WPFooter"><br><br><div class="aplayer-container"><div class="aplayer-local"></div></div><br><div class="social-wrapper" itemprop="about" itemscope="" itemtype="http://schema.org/Thing"><a href="/atom.xml" class="social fa-duotone fa-rss flat-btn" target="_blank" rel="external nofollow noopener noreferrer" itemprop="url"></a><a href="https://mhuig.top/contact/" class="social fa-duotone fa-envelope flat-btn" target="_blank" rel="external nofollow noopener noreferrer" itemprop="url"></a><a href="https://github.com/MHuiG" class="social fa-brands fa-github flat-btn" target="_blank" rel="external nofollow noopener noreferrer" itemprop="url"></a><a href="https://t.me/MHuiG" class="social fa-brands fa-telegram flat-btn" target="_blank" rel="external nofollow noopener noreferrer" itemprop="url"></a></div><div><p>博客内容遵循 <a target="_blank" rel="external nofollow noopener noreferrer" href="https://creativecommons.org/licenses/by-nc-sa/4.0/deed.zh-hans">署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议</a></p></div><div class="copyright"><p><a href="https://icp.gov.moe" target="_blank" rel="external nofollow noopener noreferrer">萌ICP备</a> <a href="https://icp.gov.moe/?keyword=2020012138" target="_blank" rel="external nofollow noopener noreferrer">2020012138号</a><br><a target="_blank" rel="noopener" href="https://mhuig.top/">Copyright © Since 2018 MHuiG</a></p></div></footer><a id="s-top" class="fa-solid fa-arrow-up fa-fw" title="top"></a></div></div><div><script>volantis.dom.bodyAnchor=volantis.dom.$(document.getElementById("safearea")),volantis.dom.topBtn=volantis.dom.$(document.getElementById("s-top")),volantis.dom.wrapper=volantis.dom.$(document.getElementById("wrapper")),volantis.dom.coverAnchor=volantis.dom.$(document.querySelector("#l_cover .cover-wrapper")),volantis.dom.switcher=volantis.dom.$(document.querySelector("#l_header .switcher .s-search")),volantis.dom.header=volantis.dom.$(document.getElementById("l_header")),volantis.dom.search=volantis.dom.$(document.querySelector("#l_header .m_search")),volantis.dom.mPhoneList=volantis.dom.$(document.querySelectorAll("#l_header .m-phone .list-v"))</script><script>volantis.css("https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/libs/@fortawesome/fontawesome-pro/css/all.min.css")</script><script src="/js/app.js"></script><script>const rootElement=document.documentElement,darkModeStorageKey="color-scheme",rootElementDarkModeAttributeName="color-scheme",setLS=(e,t)=>{localStorage.setItem(e,t)},removeLS=e=>{localStorage.removeItem(e)},getLS=e=>localStorage.getItem(e),getModeFromCSSMediaQuery=()=>window.matchMedia("(prefers-color-scheme: dark)").matches?"dark":"light",resetRootDarkModeAttributeAndLS=()=>{rootElement.removeAttribute("color-scheme"),removeLS("color-scheme")},validColorModeKeys={dark:!0,light:!0},applyCustomDarkModeSettings=e=>{const t=e||getLS("color-scheme");getCustomDarkMode(),t===getModeFromCSSMediaQuery()?resetRootDarkModeAttributeAndLS():validColorModeKeys[t]?rootElement.setAttribute("color-scheme",t):resetRootDarkModeAttributeAndLS()},invertDarkModeObj={dark:"light",light:"dark"},getCustomDarkMode=()=>{let e=getLS("color-scheme");if(validColorModeKeys[e])e=invertDarkModeObj[e];else{if(null!==e)return;e=invertDarkModeObj[getModeFromCSSMediaQuery()]}volantis.dark.mode="dark"==e?"light":"dark"},toggleCustomDarkMode=()=>{let e=getLS("color-scheme");if(validColorModeKeys[e])e=invertDarkModeObj[e];else{if(null!==e)return;e=invertDarkModeObj[getModeFromCSSMediaQuery()]}return setLS("color-scheme",e),e};function bindToggleButton(){document.querySelectorAll("#wrapper .toggle-mode-btn,#rightmenu-wrapper .toggle-mode-btn").forEach((function(e){volantis.dom.$(e).on("click",volantis.dark.toggle)}))}volantis.dark.toggle=()=>{const e=toggleCustomDarkMode();applyCustomDarkModeSettings(e),volantis.dark.method.toggle.start()},applyCustomDarkModeSettings(),document.addEventListener("DOMContentLoaded",(()=>{volantis.requestAnimationFrame(bindToggleButton)})),volantis.pjax.push(bindToggleButton);const darkModelListeners={dark:e=>{e.matches&&(volantis.dark.mode="dark"),volantis.dark.method.toggle.start()},light:e=>{e.matches&&(volantis.dark.mode="light"),volantis.dark.method.toggle.start()}};window.matchMedia("(prefers-color-scheme: dark)").addListener(darkModelListeners.dark),window.matchMedia("(prefers-color-scheme: light)").addListener(darkModelListeners.light)</script><script>function loadIssuesJS(){null!=document.getElementById("sites-api")&&"undefined"==typeof SitesJS&&volantis.js("/js/plugins/tags/sites.js");null!=document.getElementById("friends-api")&&"undefined"==typeof FriendsJS&&volantis.js("/js/plugins/tags/friends.js");null!=document.getElementById("contributors-api")&&"undefined"==typeof ContributorsJS&&volantis.js("/js/plugins/tags/contributors.js")}loadIssuesJS(),volantis.pjax.push((()=>{loadIssuesJS()}))</script><script defer="" src="https://cdn.bootcdn.net/ajax/libs/vanilla-lazyload/17.1.0/lazyload.min.js"></script><script>window.lazyLoadOptions={elements_selector:".lazyload",threshold:0},window.addEventListener("LazyLoad::Initialized",(function(n){window.lazyLoadInstance=n.detail.instance}),!1),document.addEventListener("DOMContentLoaded",(function(){lazyLoadInstance.update()})),document.addEventListener("pjax:complete",(function(){lazyLoadInstance.update()}))</script><script>window.FPConfig={delay:0,ignoreKeywords:["#"],maxRPS:6,hoverDelay:0}</script><script defer="" src="https://static.mhuig.top/npm/volantis-static@0.0.1660614606622/libs/flying-pages/flying-pages.min.js"></script><script>volantis.css("https://cdn.bootcdn.net/ajax/libs/aplayer/1.10.1/APlayer.min.css"),volantis.js("https://cdn.bootcdn.net/ajax/libs/aplayer/1.10.1/APlayer.min.js").then((()=>{function e(){document.querySelector(".aplayer-local-min")&&document.querySelectorAll(".aplayer-local-min").forEach((e=>{new APlayer(Object.assign({container:e,mini:!0,order:"list",volume:"0.7",autoplay:!1,loop:"all",theme:"#1BCDFC",listMaxHeight:"320px",listFolded:"true",preload:"auto",lrcType:3,audio:[{name:"虹之间",artist:"钢琴版伴奏",url:"https://blog.mhuig.top/music-Archive/BetweenTheRainbow.mp3",lrc:"https://blog.mhuig.top/music-Archive/BetweenTheRainbow.lrc",cover:"https://blog.mhuig.top/music-Archive/BetweenTheRainbow.jpg"},{name:"Avem",artist:"Alan Walker",url:"https://blog.mhuig.top/music-Archive/Avem.mp3",lrc:"https://blog.mhuig.top/music-Archive/Avem.lrc",cover:"https://blog.mhuig.top/music-Archive/Avem.jpg"},{name:"Fly",artist:"Marshmello / Leau Culver",url:"https://blog.mhuig.top/music-Archive/fly.mp3",lrc:"https://blog.mhuig.top/music-Archive/fly.lrc",cover:"https://blog.mhuig.top/music-Archive/fly.jpg"},{name:"Alone",artist:"Marshmello",url:"https://blog.mhuig.top/music-Archive/alone.mp3",lrc:"https://blog.mhuig.top/music-Archive/alone.lrc",cover:"https://blog.mhuig.top/music-Archive/alone.jpg"}]},JSON.parse(e.querySelector(".aplayer-local-min-conf").innerText)))}))}document.querySelectorAll(".aplayer-local").forEach((e=>{new APlayer({container:e,fixed:!1,order:"list",volume:"0.7",autoplay:!1,loop:"all",theme:"#1BCDFC",listMaxHeight:"320px",listFolded:"true",preload:"auto",lrcType:3,audio:[{name:"虹之间",artist:"钢琴版伴奏",url:"https://blog.mhuig.top/music-Archive/BetweenTheRainbow.mp3",lrc:"https://blog.mhuig.top/music-Archive/BetweenTheRainbow.lrc",cover:"https://blog.mhuig.top/music-Archive/BetweenTheRainbow.jpg"},{name:"Avem",artist:"Alan Walker",url:"https://blog.mhuig.top/music-Archive/Avem.mp3",lrc:"https://blog.mhuig.top/music-Archive/Avem.lrc",cover:"https://blog.mhuig.top/music-Archive/Avem.jpg"},{name:"Fly",artist:"Marshmello / Leau Culver",url:"https://blog.mhuig.top/music-Archive/fly.mp3",lrc:"https://blog.mhuig.top/music-Archive/fly.lrc",cover:"https://blog.mhuig.top/music-Archive/fly.jpg"},{name:"Alone",artist:"Marshmello",url:"https://blog.mhuig.top/music-Archive/alone.mp3",lrc:"https://blog.mhuig.top/music-Archive/alone.lrc",cover:"https://blog.mhuig.top/music-Archive/alone.jpg"}]})})),e(),volantis.pjax.push(e,"aplayerMin")}))</script><script>function check_giscus(){return"dark"===volantis.dark.mode?volantis.giscus.Theme="dark":volantis.giscus.Theme="light",document.getElementById("giscus_container")}function pjax_giscus(){const t=check_giscus();if(!t)return;let s=Object.assign({theme:{light:"light",dark:"dark"},repo:"MHuiG/talk","repo-id":"MDEwOlJlcG9zaXRvcnkyODQ4NDg1NTg=",category:"Giscus","category-id":"DIC_kwDOEPpxrs4B_X67",mapping:"pathname","reactions-enabled":"1","emit-metadata":"1",lang:"zh-CN","input-position":"top"},pdata.commentConfig);const e=document.createElement("script");e.setAttribute("src","https://giscus.app/client.js"),Object.keys(s).forEach((t=>{"theme"!=t&&e.setAttribute("data-"+t,s[t])})),e.setAttribute("data-theme",volantis.giscus.Theme),e.setAttribute("crossorigin","anonymous"),t.appendChild(e)}function dark_giscus(){if(!check_giscus())return;const t={setConfig:{theme:volantis.giscus.Theme}};document.querySelector("iframe.giscus-frame").contentWindow.postMessage({giscus:t},"https://giscus.app")}volantis.layoutHelper("comments",'<div id="giscus_container"></div>'),volantis.giscus={},pjax_giscus(),volantis.pjax.push(pjax_giscus),volantis.dark.push(dark_giscus)</script><script>async function loadSearchScript(){return volantis.js("/js/search/hexo.js")}function loadSearchService(){loadSearchScript(),document.querySelectorAll(".input.u-search-input").forEach((e=>{e.removeEventListener("focus",loadSearchService,!1)})),document.querySelectorAll(".u-search-form").forEach((e=>{e.addEventListener("submit",(e=>{e.preventDefault()}),!1)}))}function OpenSearch(e){"undefined"==typeof SearchService?loadSearchScript().then((()=>{SearchService.setQueryText(e),SearchService.search()})):(SearchService.setQueryText(e),SearchService.search())}if(window.location.search&&/^\?s=/g.test(window.location.search)){OpenSearch(decodeURI(window.location.search).replace(/\ /g,"-").replace(/^\?s=/g,""))}document.querySelectorAll(".input.u-search-input").forEach((e=>{e.addEventListener("focus",loadSearchService,!1)}))</script><script>function pjax_highlightjs_copyCode(){(document.querySelector(".highlight .code pre")||document.querySelector(".article pre code"))&&VolantisApp.utilCopyCode(".highlight .code pre, .article pre code")}volantis.requestAnimationFrame(pjax_highlightjs_copyCode),volantis.pjax.push(pjax_highlightjs_copyCode)</script><script>function load_swiper(){document.querySelectorAll(".swiper-container")[0]&&(volantis.css("https://cdn.bootcdn.net/ajax/libs/Swiper/8.3.2/swiper-bundle.min.css"),volantis.js("https://cdn.bootcdn.net/ajax/libs/Swiper/8.3.2/swiper-bundle.min.js").then((()=>{pjax_swiper()})))}function pjax_swiper(){volantis.swiper=new Swiper(".swiper-container",{slidesPerView:"auto",spaceBetween:8,centeredSlides:!0,loop:!0,pagination:{el:".swiper-pagination",clickable:!0},navigation:{nextEl:".swiper-button-next",prevEl:".swiper-button-prev"}})}load_swiper(),volantis.pjax.push((()=>{document.querySelectorAll(".swiper-container")[0]&&(void 0===volantis.swiper?load_swiper():pjax_swiper())}))</script><script>volantis.css("https://cdn.bootcdn.net/ajax/libs/pace/1.2.4/themes/blue/pace-theme-minimal.min.css"),volantis.js("https://cdn.bootcdn.net/ajax/libs/pace/1.2.4/pace.min.js").then((()=>{Pace.options.restartOnPushState=!1,volantis.pjax.send(Pace.restart,"Pace.restart"),volantis.scroll.push(volantis.debounce((()=>{Pace.stop(),Pace.trigger("start"),Pace.bar.update(100*volantis.scroll.progress()),document.body.className=document.body.className.replaceAll("pace-running ","")})),"阅读进度")}))</script><pjax></pjax><script>function listenSidebarTOC(){const t=document.querySelectorAll(".toc li");if(!t.length)return;const e=[];Array.from(t).forEach((t=>{const n=t.querySelector(".toc-link"),i=document.getElementById(n.getAttribute("href")?decodeURI(n.getAttribute("href")).replace("#",""):n.getAttribute("toc-action").split("toc-")[1]);return e.push(i),n.getAttribute("href")&&(n.setAttribute("toc-action","toc-"+decodeURI(n.getAttribute("href")).replace("#","")),n.removeAttribute("href")),i&&i.id&&n.addEventListener("click",(t=>{t.preventDefault(),volantis.scroll.to(i,{addTop:5,observer:!0}),history.pushState(null,document.title,"#"+i.id)})),i}));function n(t){if(t.classList.contains("active-current"))return;document.querySelectorAll(".toc .active").forEach((t=>{t.classList.remove("active","active-current")})),t.classList.add("active","active-current");let e=t.parentNode;for(;!e.matches(".toc");)e.matches("li")&&e.classList.add("active"),e=e.parentNode}volantis.activateNavIndex=0,n(t[volantis.activateNavIndex]),e[0]&&volantis.scroll.push(volantis.debounce((()=>{if(e[0].getBoundingClientRect().top>=0)volantis.activateNavIndex=0;else if(e[e.length-1].getBoundingClientRect().top<0)volantis.activateNavIndex=e.length-1;else for(let t=0;t<e.length;t++){const n=e[t],i=e[(t+1)%e.length];if(n.getBoundingClientRect().top<0&&i.getBoundingClientRect().top>=0){volantis.activateNavIndex=t;break}}n(t[volantis.activateNavIndex])})),"sidebar-toc")}document.addEventListener("DOMContentLoaded",(()=>{volantis.requestAnimationFrame(listenSidebarTOC)})),volantis.pjax.push(listenSidebarTOC,"listenSidebarTOC")</script><script>try{let e=(e,t,n=2)=>Math.abs(e-t)<=n,t=(t,n)=>!e(t.width,n.width)||!e(t.height,n.height),n=new WeakMap,i=(e,i=e.getClientBoundingRect())=>{let o=n.get(e);o&&!t(o,i)||(n.set(e,i),e.style["contain-intrinsic-size"]=`${i.width}px ${i.height}px`)},o=new IntersectionObserver(((e,t)=>{e.forEach((e=>{i(e.target,e.boundingClientRect)}))}),{rootMargin:"500px 0px 500px 0px"}),r=new ResizeObserver(((e,t)=>{e.forEach((e=>{i(e.target,e.contentRect)}))})),s=e=>{let t=document.querySelectorAll(e);t.length&&(t.forEach((e=>{o.observe(e),r.observe(e)})),requestAnimationFrame((()=>{requestAnimationFrame((()=>{t[0].style["content-visibility"]="auto"}))})))},a=()=>{"content-visibility"in document.documentElement.style&&s(".post-story")};a(),volantis.pjax.push(a)}catch(e){console.log(e)}</script><script>document.onreadystatechange=function(){if("complete"==document.readyState){const{saveData:e,effectiveType:t}=navigator.connection||navigator.mozConnection||navigator.webkitConnection||{};("none"==getComputedStyle(document.querySelector("#safearea"),null).display||e||/2g/.test(t))&&(document.querySelectorAll(".reveal").forEach((function(e){e.style.opacity="1"})),document.querySelector("#safearea").style.display="block")}}</script><script src="https://cdn.bootcdn.net/ajax/libs/pjax/0.2.8/pjax.min.js"></script><script>const performanceMonitor={slowThreshold:800,slowCount:0,maxSlowAllowed:1,requestStartTime:0,start(){this.requestStartTime=Date.now()},check(){Date.now()-this.requestStartTime>this.slowThreshold?this.slowCount++:this.slowCount=0},res(){return this.slowCount>=this.maxSlowAllowed}};var pjax;document.addEventListener("DOMContentLoaded",(function(){pjax=new Pjax({elements:'a[href]:not([href^="#"]):not([href="javascript:void(0)"]):not([pjax-fancybox]):not([onclick="return false;"]):not([onclick="return!1"]):not([target="_blank"]):not([target="view_window"]):not([href$=".xml"])',selectors:["head title","head meta[name=keywords]","head meta[name=description]","#l_main","#pjax-header-nav-list",".pjax","pjax","meta[name=robots]","link[rel=canonical]","meta[property='og:title']","meta[property='og:description']","meta[property='og:url']","meta[property='og:image']","script[type='application/ld+json']"],cacheBust:!1,timeout:900})})),document.addEventListener("pjax:send",(function(e){window.stop(),performanceMonitor.start();try{var t=window.location.pathname,o=e.triggerElement.href,n=[""];""!=n[0]&&n.forEach((e=>{-1==t.indexOf(e)&&-1==o.indexOf(e)||(window.location.href=o)})),performanceMonitor.res()&&(window.location.href=o)}catch(e){}volantis.pjax.method.send.start()})),document.addEventListener("pjax:complete",(function(){performanceMonitor.check(),document.querySelectorAll("script[data-pjax], .pjax-reload script").forEach((e=>{const t=e.text||e.textContent||e.innerHTML||"",o=document.createElement("script");Object.keys(e.attributes).forEach((t=>{o.setAttribute(e.attributes[t].nodeName,e.attributes[t].nodeValue)})),t&&o.appendChild(document.createTextNode(t)),e.parentNode.replaceChild(o,e)})),volantis.pjax.method.complete.start()})),document.addEventListener("pjax:error",(function(e){"pjax"===volantis.debug?(console.error(e),console.log("pjax error: \n"+JSON.stringify(e))):(volantis.pjax.method.error.start(),window.location.href=e.triggerElement.href)}))</script></div><pjax> <a style="display:none" target="_blank" rel="external nofollow noopener noreferrer" href="https://bot-trap.mhuig.top/">Are You A Robot?</a></pjax><script>(()=>{function t(){if("localhost:4000"!=window.location.host&&!/blog\.mhuig\.top/.test(window.location.host)){const t=document.createElement("meta");t.name="robots",t.content=atob("bm9pbmRleCwgbm9mb2xsb3csIG5vYXJjaGl2ZQ=="),document.head.appendChild(t)}}function o(){document.querySelector("figcaption")&&document.querySelectorAll("figcaption").forEach((t=>{volantis.dom.$(t).on("click",(function(){const t=!window.CodeBlockFullscreen;window.CodeBlockFullscreen=t;const o=document.getElementById("post")||document.getElementById("docs")||document.getElementById("page");if(!o)return;const e=this.parentElement,n=e.parentElement,l=document.documentElement,c=document.querySelectorAll(".highlight > table .gutter");o.classList.toggle("code-block-fullscreen",t),e.classList.toggle("code-block-fullscreen",t),n.classList.toggle("code-block-fullscreen",t),e.classList.toggle("code-block-fullscreen-overflow-auto",t),l.classList.toggle("code-block-fullscreen-html-scroll",t),c.forEach((o=>{o.classList.toggle("code-block-fullscreen-gutter",t)}))}))}))}t(),volantis.pjax.push(t),top.location!=self.location&&(top.location=self.location),"mhuig.github.io"==window.location.host||"localhost:4000"==window.location.host||/mhuig\.top$/.test(window.location.host)||/kix\.moe$/.test(window.location.host)||/mhuig/.test(window.location.host)||/ipfs/.test(window.location.host)||(window.location.href=atob("aHR0cHM6Ly9ibG9nLm1odWlnLnRvcC8=")),o(),volantis.pjax.push(o);const e=[{month:12,day:13},function(){const t=(new Date).getFullYear(),o=t%100,e=t>=2e3?4.81:5.59,n=Math.floor(o/4),l=Math.floor(.2422*o+e)-n;return{month:4,day:Math.max(4,l)}}(),{month:7,day:7},{month:9,day:18},{month:9,day:30}];function n(){document.documentElement.classList.remove("mourning-mode");if(!["/","/index.html","/index.htm","/index"].includes(window.location.pathname))return;const t=new Date,o=t.getMonth()+1,n=t.getDate();e.some((t=>t.month===o&&t.day===n))&&document.documentElement.classList.add("mourning-mode")}const l=document.createElement("style");l.textContent="\n html.mourning-mode {\n filter: grayscale(100%);\n -webkit-filter: grayscale(100%);\n transition: filter 0.5s ease;\n }\n ",document.head.appendChild(l),n(),document.addEventListener("pjax:complete",n)})()</script></body></html>