Cambios

              
    

          
          
        
        

            
f
1
{
f
1
{
            
2
  "author": "JI Avalos-L\u00f3pez, A Rojas-Dom\u00ednguez, M 
2
  "author": "JI Avalos-L\u00f3pez, A Rojas-Dom\u00ednguez, M 
            
3
Ornelas-Rodr\u00edguez, M Carpio, ...", 
3
Ornelas-Rodr\u00edguez, M Carpio, ...", 
            
4
  "author_email": null, 
4
  "author_email": null, 
            
5
  "creator_user_id": "a3da3ec9-3fd4-47a4-8d04-0a90b09614e0", 
5
  "creator_user_id": "a3da3ec9-3fd4-47a4-8d04-0a90b09614e0", 
            
6
  "extras": [
6
  "extras": [
            
7
    {
7
    {
            
8
      "key": "Publicaci\u00f3n", 
8
      "key": "Publicaci\u00f3n", 
            
9
      "value": "Cap\u00edtulo"
9
      "value": "Cap\u00edtulo"
            
10
    }, 
10
    }, 
            
11
    {
11
    {
            
12
      "key": "Tipo", 
12
      "key": "Tipo", 
            
13
      "value": "Publicaci\u00f3n"
13
      "value": "Publicaci\u00f3n"
            
14
    }
14
    }
            
15
  ], 
15
  ], 
            
16
  "groups": [
16
  "groups": [
            
17
    {
17
    {
            
18
      "description": "Este grupo integra las publicaciones 
18
      "description": "Este grupo integra las publicaciones 
            
19
acad\u00e9micas derivadas de los proyectos de investigaci\u00f3n del 
19
acad\u00e9micas derivadas de los proyectos de investigaci\u00f3n del 
            
20
Observatorio Metropolitano CentroGeo. Incluye art\u00edculos 
20
Observatorio Metropolitano CentroGeo. Incluye art\u00edculos 
            
21
presentados en congresos nacionales e internacionales, manuscritos en 
21
presentados en congresos nacionales e internacionales, manuscritos en 
            
22
formato preprint, cap\u00edtulos de libro y trabajos publicados en 
22
formato preprint, cap\u00edtulos de libro y trabajos publicados en 
            
23
revistas cient\u00edficas especializadas. Estos materiales reflejan la 
23
revistas cient\u00edficas especializadas. Estos materiales reflejan la 
            
24
labor de investigaci\u00f3n, desarrollo metodol\u00f3gico y 
24
labor de investigaci\u00f3n, desarrollo metodol\u00f3gico y 
            
25
an\u00e1lisis territorial del observatorio, contribuyendo al avance 
25
an\u00e1lisis territorial del observatorio, contribuyendo al avance 
            
26
del conocimiento en temas urbanos, metropolitanos y geoespaciales.", 
26
del conocimiento en temas urbanos, metropolitanos y geoespaciales.", 
            
27
      "display_name": "Publicaciones", 
27
      "display_name": "Publicaciones", 
            
28
      "id": "a15a6b77-ddf5-4594-acab-7e772938a5b0", 
28
      "id": "a15a6b77-ddf5-4594-acab-7e772938a5b0", 
            
29
      "image_display_url": "", 
29
      "image_display_url": "", 
            
30
      "name": "publicaciones", 
30
      "name": "publicaciones", 
            
31
      "title": "Publicaciones"
31
      "title": "Publicaciones"
            
32
    }
32
    }
            
33
  ], 
33
  ], 
            
34
  "id": "dd4b450d-e41a-40f9-b9ac-50ce286b734b", 
34
  "id": "dd4b450d-e41a-40f9-b9ac-50ce286b734b", 
            
35
  "isopen": false, 
35
  "isopen": false, 
            
36
  "license_id": null, 
36
  "license_id": null, 
            
37
  "license_title": null, 
37
  "license_title": null, 
            
38
  "maintainer": null, 
38
  "maintainer": null, 
            
39
  "maintainer_email": null, 
39
  "maintainer_email": null, 
            
40
  "metadata_created": "2025-10-11T01:23:41.807764", 
40
  "metadata_created": "2025-10-11T01:23:41.807764", 
            
n
41
  "metadata_modified": "2025-10-11T01:23:41.807773", 
n
41
  "metadata_modified": "2025-10-11T01:23:42.330841", 
            
42
  "name": 
42
  "name": 
            
43
deep-learning-models-through-improved-adaptive-sampling-5aadeb713593", 
43
deep-learning-models-through-improved-adaptive-sampling-5aadeb713593", 
            
44
  "notes": "Training of Deep Neural Networks (DNNs) is very 
44
  "notes": "Training of Deep Neural Networks (DNNs) is very 
            
45
computationally demanding and resources are typically spent on 
45
computationally demanding and resources are typically spent on 
            
46
training-instances that do not provide the most benefit to a 
46
training-instances that do not provide the most benefit to a 
            
47
network\u2019s learning; instead, the most relevant instances should 
47
network\u2019s learning; instead, the most relevant instances should 
            
48
be prioritized during training. Herein we present an improved version 
48
be prioritized during training. Herein we present an improved version 
            
49
of the Adaptive Sampling (AS) method (Gopal, 2016) extended for the 
49
of the Adaptive Sampling (AS) method (Gopal, 2016) extended for the 
            
50
training of DNNs. As our main contribution we formulate a probability 
50
training of DNNs. As our main contribution we formulate a probability 
            
51
distribution for data instances that minimizes the variance of the 
51
distribution for data instances that minimizes the variance of the 
            
52
gradient-norms w.r.t. the network\u2019s loss function. Said 
52
gradient-norms w.r.t. the network\u2019s loss function. Said 
            
53
distribution is combined with the optimal distribution for the data 
53
distribution is combined with the optimal distribution for the data 
            
54
classes previously derived by Gopal and the improved AS is used to 
54
classes previously derived by Gopal and the improved AS is used to 
            
55
replace uniform sampling with the objective of accelerating the 
55
replace uniform sampling with the objective of accelerating the 
            
56
training of DNNs. Our proposal is comparatively evaluated against 
56
training of DNNs. Our proposal is comparatively evaluated against 
            
57
uniform sampling and against Online Batch Selection (Loshchilov & 
57
uniform sampling and against Online Batch Selection (Loshchilov & 
            
58
Hutter, 2015). Results from training a Convolutional Neural Network on 
58
Hutter, 2015). Results from training a Convolutional Neural Network on 
            
59
the MNIST dataset with the Adadelta and Adam optimizers over different 
59
the MNIST dataset with the Adadelta and Adam optimizers over different 
            
60
training batch-sizes show the effectiveness and superiority of our 
60
training batch-sizes show the effectiveness and superiority of our 
            
61
proposal.", 
61
proposal.", 
            
n
62
  "num_resources": 0, 
n
62
  "num_resources": 1, 
            
63
  "num_tags": 17, 
63
  "num_tags": 17, 
            
64
  "organization": {
64
  "organization": {
            
65
    "approval_status": "approved", 
65
    "approval_status": "approved", 
            
66
    "created": "2022-05-19T00:10:30.480393", 
66
    "created": "2022-05-19T00:10:30.480393", 
            
67
    "description": "Observatorio Metropolitano CentroGeo", 
67
    "description": "Observatorio Metropolitano CentroGeo", 
            
68
    "id": "b3b3a79d-748a-4464-9471-732b6c74ec53", 
68
    "id": "b3b3a79d-748a-4464-9471-732b6c74ec53", 
            
69
    "image_url": 
69
    "image_url": 
            
70
"2022-05-19-001030.456616FullColor1280x1024LogoOnly.png", 
70
"2022-05-19-001030.456616FullColor1280x1024LogoOnly.png", 
            
71
    "is_organization": true, 
71
    "is_organization": true, 
            
72
    "name": "observatorio-metropolitano-centrogeo", 
72
    "name": "observatorio-metropolitano-centrogeo", 
            
73
    "state": "active", 
73
    "state": "active", 
            
74
    "title": "Observatorio Metropolitano CentroGeo", 
74
    "title": "Observatorio Metropolitano CentroGeo", 
            
75
    "type": "organization"
75
    "type": "organization"
            
76
  }, 
76
  }, 
            
77
  "owner_org": "b3b3a79d-748a-4464-9471-732b6c74ec53", 
77
  "owner_org": "b3b3a79d-748a-4464-9471-732b6c74ec53", 
            
78
  "private": false, 
78
  "private": false, 
            
79
  "relationships_as_object": [], 
79
  "relationships_as_object": [], 
            
80
  "relationships_as_subject": [], 
80
  "relationships_as_subject": [], 
            
t
81
  "resources": [], 
t
81
  "resources": [
            
82
    {
            
83
      "cache_last_updated": null, 
            
84
      "cache_url": null, 
            
85
      "created": "2025-10-11T01:23:42.411079", 
            
86
      "datastore_active": false, 
            
87
      "description": "Training of Deep Neural Networks (DNNs) is very 
            
88
computationally demanding and resources are typically spent on 
            
89
training-instances that do not provide the most benefit to a 
            
90
network\u2019s learning; instead, the most relevant instances should 
            
91
be prioritized during training. Herein we present an improved version 
            
92
of the Adaptive Sampling (AS) method (Gopal, 2016) extended for the 
            
93
training of DNNs. As our main contribution we formulate a probability 
            
94
distribution for data instances that minimizes the variance of the 
            
95
gradient-norms w.r.t. the network\u2019s loss function. Said 
            
96
distribution is combined with the optimal distribution for the data 
            
97
classes previously derived by Gopal and the improved AS is used to 
            
98
replace uniform sampling with the objective of accelerating the 
            
99
training of DNNs. Our proposal is comparatively evaluated against 
            
100
uniform sampling and against Online Batch Selection (Loshchilov & 
            
101
Hutter, 2015). Results from training a Convolutional Neural Network on 
            
102
the MNIST dataset with the Adadelta and Adam optimizers over different 
            
103
training batch-sizes show the effectiveness and superiority of our 
            
104
proposal.", 
            
105
      "format": "HTML", 
            
106
      "hash": "", 
            
107
      "id": "25abfb23-4d55-4f3b-bc2e-e1c0efdc392d", 
            
108
      "last_modified": null, 
            
109
      "metadata_modified": "2025-10-11T01:23:42.334426", 
            
110
      "mimetype": null, 
            
111
      "mimetype_inner": null, 
            
112
      "name": "Efficient training of deep learning models through 
            
113
improved adaptive sampling", 
            
114
      "package_id": "dd4b450d-e41a-40f9-b9ac-50ce286b734b", 
            
115
      "position": 0, 
            
116
      "resource_type": null, 
            
117
      "size": null, 
            
118
      "state": "active", 
            
119
      "url": "https://doi.org/10.1007/978-3-030-77004-4_14", 
            
120
      "url_type": null
            
121
    }
            
122
  ], 
            
82
  "state": "active", 
123
  "state": "active", 
            
83
  "tags": [
124
  "tags": [
            
84
    {
125
    {
            
85
      "display_name": "adaptive-sampling", 
126
      "display_name": "adaptive-sampling", 
            
86
      "id": "8225c826-dbae-409d-9a77-db998c804b0b", 
127
      "id": "8225c826-dbae-409d-9a77-db998c804b0b", 
            
87
      "name": "adaptive-sampling", 
128
      "name": "adaptive-sampling", 
            
88
      "state": "active", 
129
      "state": "active", 
            
89
      "vocabulary_id": null
130
      "vocabulary_id": null
            
90
    }, 
131
    }, 
            
91
    {
132
    {
            
92
      "display_name": "artificial-intelligence", 
133
      "display_name": "artificial-intelligence", 
            
93
      "id": "47cb06d3-c2a4-42af-b633-03eea6181083", 
134
      "id": "47cb06d3-c2a4-42af-b633-03eea6181083", 
            
94
      "name": "artificial-intelligence", 
135
      "name": "artificial-intelligence", 
            
95
      "state": "active", 
136
      "state": "active", 
            
96
      "vocabulary_id": null
137
      "vocabulary_id": null
            
97
    }, 
138
    }, 
            
98
    {
139
    {
            
99
      "display_name": "artificial-neural-network", 
140
      "display_name": "artificial-neural-network", 
            
100
      "id": "d63d29ea-7b70-4ed5-83cc-66f3b9586c1c", 
141
      "id": "d63d29ea-7b70-4ed5-83cc-66f3b9586c1c", 
            
101
      "name": "artificial-neural-network", 
142
      "name": "artificial-neural-network", 
            
102
      "state": "active", 
143
      "state": "active", 
            
103
      "vocabulary_id": null
144
      "vocabulary_id": null
            
104
    }, 
145
    }, 
            
105
    {
146
    {
            
106
      "display_name": "computer-science", 
147
      "display_name": "computer-science", 
            
107
      "id": "29cae056-cd7e-43f7-be5b-b25869a3fbf2", 
148
      "id": "29cae056-cd7e-43f7-be5b-b25869a3fbf2", 
            
108
      "name": "computer-science", 
149
      "name": "computer-science", 
            
109
      "state": "active", 
150
      "state": "active", 
            
110
      "vocabulary_id": null
151
      "vocabulary_id": null
            
111
    }, 
152
    }, 
            
112
    {
153
    {
            
113
      "display_name": "convolutional-neural-network", 
154
      "display_name": "convolutional-neural-network", 
            
114
      "id": "b08eff8e-b411-4c56-ab0d-3ef47b79699c", 
155
      "id": "b08eff8e-b411-4c56-ab0d-3ef47b79699c", 
            
115
      "name": "convolutional-neural-network", 
156
      "name": "convolutional-neural-network", 
            
116
      "state": "active", 
157
      "state": "active", 
            
117
      "vocabulary_id": null
158
      "vocabulary_id": null
            
118
    }, 
159
    }, 
            
119
    {
160
    {
            
120
      "display_name": "deep-learning", 
161
      "display_name": "deep-learning", 
            
121
      "id": "2374322a-d83b-4c03-8b75-ba1d0b75384e", 
162
      "id": "2374322a-d83b-4c03-8b75-ba1d0b75384e", 
            
122
      "name": "deep-learning", 
163
      "name": "deep-learning", 
            
123
      "state": "active", 
164
      "state": "active", 
            
124
      "vocabulary_id": null
165
      "vocabulary_id": null
            
125
    }, 
166
    }, 
            
126
    {
167
    {
            
127
      "display_name": "deep-neural-networks", 
168
      "display_name": "deep-neural-networks", 
            
128
      "id": "4f23ca30-4b12-401d-a93c-958cf047df6e", 
169
      "id": "4f23ca30-4b12-401d-a93c-958cf047df6e", 
            
129
      "name": "deep-neural-networks", 
170
      "name": "deep-neural-networks", 
            
130
      "state": "active", 
171
      "state": "active", 
            
131
      "vocabulary_id": null
172
      "vocabulary_id": null
            
132
    }, 
173
    }, 
            
133
    {
174
    {
            
134
      "display_name": "function-biology", 
175
      "display_name": "function-biology", 
            
135
      "id": "50851f79-cad9-4419-99d1-daf7ff2dcf76", 
176
      "id": "50851f79-cad9-4419-99d1-daf7ff2dcf76", 
            
136
      "name": "function-biology", 
177
      "name": "function-biology", 
            
137
      "state": "active", 
178
      "state": "active", 
            
138
      "vocabulary_id": null
179
      "vocabulary_id": null
            
139
    }, 
180
    }, 
            
140
    {
181
    {
            
141
      "display_name": "importance-sampling", 
182
      "display_name": "importance-sampling", 
            
142
      "id": "5ab61561-5592-434e-9870-f97f65dd4378", 
183
      "id": "5ab61561-5592-434e-9870-f97f65dd4378", 
            
143
      "name": "importance-sampling", 
184
      "name": "importance-sampling", 
            
144
      "state": "active", 
185
      "state": "active", 
            
145
      "vocabulary_id": null
186
      "vocabulary_id": null
            
146
    }, 
187
    }, 
            
147
    {
188
    {
            
148
      "display_name": "machine-learning", 
189
      "display_name": "machine-learning", 
            
149
      "id": "99557dd8-2914-4e28-8278-7a042cfb23d0", 
190
      "id": "99557dd8-2914-4e28-8278-7a042cfb23d0", 
            
150
      "name": "machine-learning", 
191
      "name": "machine-learning", 
            
151
      "state": "active", 
192
      "state": "active", 
            
152
      "vocabulary_id": null
193
      "vocabulary_id": null
            
153
    }, 
194
    }, 
            
154
    {
195
    {
            
155
      "display_name": "mnist-database", 
196
      "display_name": "mnist-database", 
            
156
      "id": "2376b903-8a68-4a42-89f1-fd576aea48a2", 
197
      "id": "2376b903-8a68-4a42-89f1-fd576aea48a2", 
            
157
      "name": "mnist-database", 
198
      "name": "mnist-database", 
            
158
      "state": "active", 
199
      "state": "active", 
            
159
      "vocabulary_id": null
200
      "vocabulary_id": null
            
160
    }, 
201
    }, 
            
161
    {
202
    {
            
162
      "display_name": "sampling-signal-processing", 
203
      "display_name": "sampling-signal-processing", 
            
163
      "id": "ecc43bd8-306b-47f5-a170-175ba948e225", 
204
      "id": "ecc43bd8-306b-47f5-a170-175ba948e225", 
            
164
      "name": "sampling-signal-processing", 
205
      "name": "sampling-signal-processing", 
            
165
      "state": "active", 
206
      "state": "active", 
            
166
      "vocabulary_id": null
207
      "vocabulary_id": null
            
167
    }, 
208
    }, 
            
168
    {
209
    {
            
169
      "display_name": "selection-genetic-algorithm", 
210
      "display_name": "selection-genetic-algorithm", 
            
170
      "id": "5ae19ac6-8758-4ff8-ab84-a9b392758848", 
211
      "id": "5ae19ac6-8758-4ff8-ab84-a9b392758848", 
            
171
      "name": "selection-genetic-algorithm", 
212
      "name": "selection-genetic-algorithm", 
            
172
      "state": "active", 
213
      "state": "active", 
            
173
      "vocabulary_id": null
214
      "vocabulary_id": null
            
174
    }, 
215
    }, 
            
175
    {
216
    {
            
176
      "display_name": "stochastic-gradient-descent", 
217
      "display_name": "stochastic-gradient-descent", 
            
177
      "id": "128418a8-7e59-4368-83ea-992a4c9fb97f", 
218
      "id": "128418a8-7e59-4368-83ea-992a4c9fb97f", 
            
178
      "name": "stochastic-gradient-descent", 
219
      "name": "stochastic-gradient-descent", 
            
179
      "state": "active", 
220
      "state": "active", 
            
180
      "vocabulary_id": null
221
      "vocabulary_id": null
            
181
    }, 
222
    }, 
            
182
    {
223
    {
            
183
      "display_name": "training-meteorology", 
224
      "display_name": "training-meteorology", 
            
184
      "id": "5278a683-25af-4654-9242-1566903f1da0", 
225
      "id": "5278a683-25af-4654-9242-1566903f1da0", 
            
185
      "name": "training-meteorology", 
226
      "name": "training-meteorology", 
            
186
      "state": "active", 
227
      "state": "active", 
            
187
      "vocabulary_id": null
228
      "vocabulary_id": null
            
188
    }, 
229
    }, 
            
189
    {
230
    {
            
190
      "display_name": "training-set", 
231
      "display_name": "training-set", 
            
191
      "id": "33d3b3b3-3c56-4b13-8163-1582fd1678d1", 
232
      "id": "33d3b3b3-3c56-4b13-8163-1582fd1678d1", 
            
192
      "name": "training-set", 
233
      "name": "training-set", 
            
193
      "state": "active", 
234
      "state": "active", 
            
194
      "vocabulary_id": null
235
      "vocabulary_id": null
            
195
    }, 
236
    }, 
            
196
    {
237
    {
            
197
      "display_name": "variance-accounting", 
238
      "display_name": "variance-accounting", 
            
198
      "id": "ba557cbb-58d4-45a0-900c-d6fa002336ad", 
239
      "id": "ba557cbb-58d4-45a0-900c-d6fa002336ad", 
            
199
      "name": "variance-accounting", 
240
      "name": "variance-accounting", 
            
200
      "state": "active", 
241
      "state": "active", 
            
201
      "vocabulary_id": null
242
      "vocabulary_id": null
            
202
    }
243
    }
            
203
  ], 
244
  ], 
            
204
  "title": "Efficient training of deep learning models through 
245
  "title": "Efficient training of deep learning models through 
            
205
improved adaptive sampling", 
246
improved adaptive sampling", 
            
206
  "type": "dataset", 
247
  "type": "dataset", 
            
207
  "url": "https://doi.org/10.1007/978-3-030-77004-4_14", 
248
  "url": "https://doi.org/10.1007/978-3-030-77004-4_14", 
            
208
  "version": null
249
  "version": null
            
209
}
250
}