Utafutaji wa Muundo wa Neva Uliosambazwa kwa Uchambuzi wa Blockchain

Yaliyomo

1 Utangulizi

Maendeleo ya haraka ya kujifunza kwa kina yamewezesha mitandao ya neva kuathiri karibu kila tasnia, kuanzia magari yanayojitegemea hadi uchunguzi wa kimatibabu. Hata hivyo, kuunda miundo bora ya neva bado ni mchakato mgumu, unaochukua muda mrefu na unaohitaji uboreshaji wa kina wa mikakati ya juu na topolojia za mtandao. Kikwazo hiki cha kibinadamu kinapunguza kwa kiasi kikubwa uwezo wa kuongezeka na upatikanaji wa suluhisho za kujifunza mashine.

Maendeleo ya hivi karibuni katika Utafutaji wa Muundo wa Neva (NAS) yanalenga kuunda mchakato huu wa uboreshaji kiotomatiki. Utafiti wetu unatumia algoriti maalum ya NAS yenye mofimu ya mtandao na uboreshaji wa Bayesian katika utabiri wa bei ya fedha za kidijitali, na kufikia matokeo yanayolingana na miundo yetu bora iliyobuniwa kwa mikono. Karatasi hii inapendekeza itifaki ya msingi wa blockchain inayohimisha nodi za kompyuta zilizosambazwa kukimbia pamoja algoriti za NAS, na kuunda chanzo huru, kinachojiboresha chenyewe cha miundo ya kujifunza mashine.

1.1 Kazi Inayohusiana

Mbinu kadhaa muhimu za NAS zimeibuka hivi karibuni. Mbinu ya Google yenye msingi wa Kujifunza kwa Nguvu [2] na Utafutaji wa Muundo Unaoweza Kutofautishwa (DARTS) wa DeepMind [7] zinawakilisha maendeleo makubwa. Mfumo wa AutoKeras [9], unaotekeleza uboreshaji wa Bayesian na mofimu ya mtandao, hutoa msingi wa mbinu yetu. Katika blockchain, miradi kama OpenMined [14] inawezesha mafunzo yaliyosambazwa kwenye data binafsi, wakati SingularityNet [16] inafacilitate kushiriki mfumo, lakini hakuna hata moja inayoshughulikia changamoto ya msingi ya uundaji wa mfumo kiotomatiki.

2 Msingi

Kujifunza kwa kina kumebadilisha ujanja bandia, lakini mchakato wa kibinadamu wa kubuni muundo bado ni kikwazo kikubwa. Utafutaji wa Muundo wa Neva unawakilisha mpaka unaofuata katika kuunda kiotomatiki michakato ya kazi ya kujifunza mashine.

2.1 Blockchain na Ethereum

Teknolojia ya Blockchain, iliyoletwa na Bitcoin [13], hutoa mfumo wa kujitegemea, usio na imani kwa makubaliano yaliyosambazwa. Ethereum inapanua uwezo huu kwa michakato ya akili, na kuwezesha makubaliano yanayoweza kuprogramu na kujitekelezza yenyewe. Itifaki yetu inatumia sifa hizi kuunda utaratibu wa motisha kwa hesabu ya NAS iliyosambazwa.

3 Tatizo la Kutabiri Fedha za Kidijitali

Tunazingatia utabiri wa bei ya fedha za kidijitali kutokana na utata wake na umuhimu wa vitendo. Tatizo linahusisha kuchambua data ya mfululizo wa wakati mbalimbali ikiwemo mienendo ya bei, kiasi cha biashara, vipimo ya muamala ya blockchain, na viashiria vya hisia za kijamii. Seti yetu ya data inajumuisha data ya kihistoria ya miaka 3 kwenye fedha 15 kuu za kidijitali zenye azimio la dakika 5.

4 Mbinu

4.1 Algoriti ya Utafutaji wa Muundo wa Neva

Utekelezaji wetu wa NAS unatumia toleo lililoboreshwa la mfumo wa AutoKeras lenye shughuli zilizoimarishwa za mofimu ya mtandao na utafutaji ulioboreshwa wa Bayesian. Algoriti huchunguza miundo kupitia uwakilishi wa grafu isiyo na mzunguko inayoongozwa ambapo nodi zinawakilisha shughuli na kingo zinawakilisha mtiririko wa data.

4.2 Mofimu ya Mtandao na Uboreshaji wa Bayesian

Mofimu ya mtandao inawezesha utafutaji bora wa muundo kwa kuhifadhi utendaji wa mtandao wakati wa mabadiliko. Mfumo wa uboreshaji wa Bayesian unatumia michakato ya Gaussian kuiga hali ya utendaji:

$f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}), k(\mathbf{x}, \mathbf{x}'))$

ambapo $m(\mathbf{x})$ ni kazi ya wastani na $k(\mathbf{x}, \mathbf{x}')$ ni kiini cha uunganisho. Kazi ya upatikanaji inatumia uboreshaji unaotarajiwa:

$EI(\mathbf{x}) = \mathbb{E}[\max(f(\mathbf{x}) - f(\mathbf{x}^+), 0)]$

ambapo $f(\mathbf{x}^+)$ ni uchunguzi bora wa sasa.

5 Matokeo ya Majaribio

Majaribio yetu yalinganisha miundo ya LSTM na Transformer iliyobuniwa kwa mikono dhidi ya miundo iliyotengenezwa na NAS kwenye utabiri wa bei ya fedha za kidijitali. Mbinu ya NAS ilifikia usahihi wa mwelekeo wa 92.3% ikilinganishwa na 89.7% kwa mfumo bora wa mikono, ikiwakilisha uboreshaji mkubwa huku ikipunguza wakati wa ukuzaji kwa takriban 60%.

6 Ubunifu wa Itifaki ya Blockchain

Itifaki yetu ya blockchain inayopendekezwa inaunda soko la kujitegemea la miundo ya neva. Washiriki huweka dau kwa ishara ili kupendekeza marekebisho ya muundo, na miundo mizuri inapata malipo sawia na uboreshaji wake wa utendaji. Itifaki inatumia makubaliano ya uthibitisho-dau na uthibitishaji wa mfumo kupitia uthibitishaji-wenyewe kwenye seti za data zilizosanifishwa.

7 Uchambuzi wa Asili

Unganisho la Utafutaji wa Muundo wa Neva na teknolojia ya blockchain inawakilisha mabadiliko makubwa ya dhana ya jinsi miundo ya kujifunza mashine inavyotengenezwa na kutumika. Utafiti wetu unaonyesha kuwa algoriti za NAS zinaweza sio tu kulingana bali pia kuzidi miundo iliyobuniwa na wanadamu, na kufikia usahihi wa 92.3% katika utabiri wa fedha za kidijitali ikilinganishwa na 89.7% kwa miundo ya mikono. Hii inafanana na matokeo kutoka kwa utafiti wa NAS wa Google [2], ambao ulionyesha mbinu za kiotomatiki zikizidi wataalamu wa kibinadamu kwenye kazi za uainishaji wa picha.

Sehemu ya blockchain inashughulikia mapungufu muhimu katika utekelezaji wa sasa wa NAS: mahitaji ya rasilimali za hesabu na usawa wa motisha. Sawa na jinsi CycleGAN [Zhu et al., 2017] ilivyobadilisha kutafsiri picha zisizo na usimamizi kwa kuuainisha kama tatizo la kukabiliana na kikoa, mbinu yetu inaainisha upya NAS kama tatizo la uboreshaji lililosambazwa linaloweza kutatuliwa kupitia motisha za kiuchumi. Ubunifu wa itifaki unachota msukumo kutoka kwa uwezo wa michakato ya akili ya Ethereum huku ukiingiza masomo kutoka kwa majukwaa ya hesabu yaliyojitegemea kama Golem na iExec.

Kutoka kwa mtazamo wa kiufundi, mchanganyiko wa mofimu ya mtandao na uboreshaji wa Bayesian hutoa dhamana ya hisabati ya uboreshaji wa utendaji. Mfumo mbadala wa mchakato wa Gaussian unawezesha uchunguzi bora wa nafasi ya muundo, huku shughuli za mofimu ya mtandao zikihakikisha uhifadhi wa utendaji wakati wa mabadiliko. Mbinu hii inatofautiana na mbinu zenye msingi wa kujifunza kwa nguvu [2] ambazo zinahitaji rasilimali za hesabu za ziada.

Matokeo ya vitendo ni makubwa. Kama ilivyoelezwa katika karatasi ya DARTS ya DeepMind [7], utafutaji wa muundo unaoweza kutofautishwa hupunguza wakati wa hesabu kwa maagizo ya ukubwa. Utekelezaji wetu wa blockchain unaongeza ufanisi huu kupitia hesabu iliyosambazwa, na uwezekano wa kufanikisha NAS ya hali ya juu kwa mashirika bila miundombinu kubwa ya kompyuta. Athari hii ya udemokrasia inaweza kuharakisha kupitishwa kwa AI katika tasnia mbalimbali, sawa na jinsi TensorFlow na PyTorch zilivyopunguza vikwazo vya utekelezaji wa kujifunza kwa kina.

Kukiwa na mtazamo wa mbele, muunganiko wa kujifunza mashine kiotomatiki na mifumo iliyojitegemea inaweza kuunda miundo mpya kabisa ya kiuchumi kwa ukuzaji wa AI. Badala ya maabara kuu za AI kutawala uundaji wa mfumo, mitandao iliyosambazwa ya watafiti na watengenezaji wanaweza kushirikiana kupitia itifaki zenye uwazi, zilizowekwa motisha. Dhamira hii inafanana na asili ya awali ya teknolojia ya blockchain huku ikishughulikia mapungufu ya ulimwengu halisi katika michakato ya sasa ya kazi ya ukuzaji wa AI.

8 Utekelezaji wa Kiufundi

Mfano wa Msimbo: Shughuli ya Mofimu ya Mtandao

class NetworkMorphism:
    def insert_layer(self, model, new_layer, position):
        """Ingiza safu mpya huku ukihifadhi utendaji"""
        layers = model.layers
        new_layers = []
        
        for i, layer in enumerate(layers):
            if i == position:
                new_layers.append(new_layer)
            new_layers.append(layer)
        
        return self.rebuild_model(new_layers, model.inputs)
    
    def widen_layer(self, layer, widening_factor):
        """Ongeza uwezo wa safu huku ukidumisha kazi"""
        if isinstance(layer, Dense):
            new_units = layer.units * widening_factor
            new_weights = self.initialize_wider_weights(
                layer.get_weights(), widening_factor)
            return Dense(new_units, weights=new_weights)

Uundaji wa Kihisabati

Tatizo la uboreshaji la NAS linaweza kuundwa kihisabati kama:

$\max_{a \in \mathcal{A}} \mathbb{E}_{(x,y) \sim \mathcal{D}}[\mathcal{L}(f_a(x), y)]$

ambapo $\mathcal{A}$ ni nafasi ya muundo, $f_a$ ni mtandao wa neva na muundo $a$, na $\mathcal{L}$ ni kazi ya hasara.

9 Matumizi ya Baadaye

Mfumo uliopendekezwa una matumizi mapana zaidi ya utabiri wa fedha za kidijitali. Matumizi yanayowezekana ni pamoja na:

• Uchunguzi wa Afya: Ugunduzi wa kiotomatiki wa miundo bora kwa uchambuzi wa picha za kimatibabu
• Utabiri wa Kifedha: NAS iliyosambazwa kwa utabiri wa soko la hisa na tathmini ya hatari
• Mifumo Huria: Uboreshaji wa muundo wa wakati halisi kwa roboti na magari yanayojiongoza yenyewe
• Usindikaji wa Lugha asilia: Ubunifu wa muundo wa transformer kiotomatiki kwa kazi za lugha

Maendeleo ya baadaye yanaweza kujumuisha uboreshaji wa malengo mengi ukizingatia sio tu usahihi bali pia ukubwa wa mfumo, kasi ya hitimisho, na ufanisi wa nishati. Uingizwaji na mbinu za kujifunza kwa shirikisho zinaweza kuwezesha NAS iliyosambazwa inayohifadhi faragha kuvuka mipaka ya taasisi.

10 Marejeo

1. Zoph, B., & Le, Q. V. (2017). Neural Architecture Search with Reinforcement Learning. arXiv:1611.01578
2. Liu, H., Simonyan, K., & Yang, Y. (2019). DARTS: Differentiable Architecture Search. ICLR 2019
3. Jin, H., Song, Q., & Hu, X. (2019). Auto-Keras: An Efficient Neural Architecture Search System. KDD 2019
4. Nakamoto, S. (2008). Bitcoin: A Peer-to-Peer Electronic Cash System
5. Zhu, J. Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV 2017
6. OpenMined (2020). Privacy-preserving machine learning framework
7. SingularityNET (2020). Decentralized AI marketplace
8. Stanford Blockchain Research (2019). Cryptocurrency price prediction approaches