第一部分 问题描述
1.1 具体任务
本次作业任务是轨迹压缩，给定一个gps数据记录文件，每条记录包含经度和维度两个坐标字段，所有记录的经纬度坐标构成一条轨迹，要求采用合适的压缩算法，使得压缩后轨迹的距离误差小于30m。
1.2 程序输入
本程序输入是一个gps数据记录文件。
1.3 数据输出
输出形式是文件，包括三部分，压缩后点的id序列及坐标、点的个数、平均距离误差、压缩率
第二部分 问题解答
根据问题描述，我们对问题进行求解，问题求解分为以下几步：
2.1 数据预处理
本次程序输入为gps数据记录文件，共有3150行记录，每行记录又分为若干个字段，根据题意，我们只需关注经度和纬度坐标字段即可，原始数据文件部分记录如图2.1所示：
图2.1 原始数据文件部分记录示意图
如图2.1所示，原始数据文件每条记录中经纬度坐标字段数据的保存格式是典型的gps坐标表达方式，即度分格式，形式为dddmm.mmmm，其中ddd表示度，mm.mmmm表示分，小数点前面表示分的整数部分，小数点后表示分的小数部分；本次数据预处理，为方便后面两个坐标点之间距离的计算，我们需要将度分格式的经纬度坐标数据换算成度的形式，换算方法是ddd+mm.mmmm/60，此处我们保留小数点后6位数字，换算后的形式为ddd.xxxxxx。
我们以第一条记录中经纬度坐标（11628.2491，3955.6535）为例，换算后的结果为（116.470818，39.927558），所有记录中经纬度坐标都使用方法进行，并且可以为每一个转换后的坐标点生成一个id，进行唯一标识，压缩后，我们只需输出所有被保留点的id即可。
2.2 douglas-peucker轨迹压缩算法
轨迹压缩算法分为两大类，分别是无损压缩和有损压缩，无损压缩算法主要包括哈夫曼编码，有损压缩算法又分为批处理方式和在线数据压缩方式，其中批处理方式又包括dp（douglas-peucker）算法、td-tr（top-down time-ratio）算法和bellman算法，在线数据压缩方式又包括滑动窗口、开放窗口、基于安全区域的方法等。
由于时间有限，本次轨迹压缩，我们决定采用相对简单的dp算法。
dp算法步骤如下：
（1）在轨迹曲线在曲线首尾两点a，b之间连接一条直线ab，该直线为曲线的弦；
（2）遍历曲线上其他所有点，求每个点到直线ab的距离，找到最大距离的点c，最大距离记为dmax；
（3）比较该距离dmax与预先定义的阈值dmax大小，如果dmax<dmax，则将该直线ab作为曲线段的近似，曲线段处理完毕；
（4）若dmax>=dmax，则使c点将曲线ab分为ac和cb两段，并分别对这两段进行（1）~（3）步处理；
（5）当所有曲线都处理完毕时，依次连接各个分割点形成的折线，即为原始曲线的路径。
2.3 点到直线的距离
dp算法中需要求点到直线的距离，该距离指的是垂直欧式距离，即直线ab外的点c到直线ab的距离d，此处a、b、c三点均为经纬度坐标；我们采用三角形面积相等法求距离d，具体方法是：a、b、c三点构成三角形，该三角形的面积有两种求法，分别是普通方法（底x高/2）和海伦公式，海伦公式如下：
假设有一个三角形，边长分别为a、b、c，三角形的面积s可由以下公式求得：
其中p为半周长：
我们通过海伦公式求得三角形面积，然后就可以求得高的大小，此处高即为距离d。要想用海伦公式，必须求出a、b、c三点两两之间的距离，该距离公式是由老师给出的，直接调用距离函数即可。
注意：求出距离后，要加上绝对值，以防止距离为负数。
2.4 平均误差求解
平均误差指的是压缩时忽略的那些点到对应线段的距离之和除以总点数得到的数值。
2.5 压缩率求解
压缩率的计算公式如下：
2.6 数据结果文件的生成
经过上面的处理和计算，我们将压缩后剩余点的id和点的个数、平均距离误差、压缩率等参数都写入最终的结果文件中，问题解答完成。
第三部分 代码实现
本程序采用java语言编写，开发环境为intellij idea 14.0.2，代码共分为两个类，一个是enpoint类，用于保存经纬度点信息，一个是trajectorycompressionmain类，用于编写数据处理、dp算法、点到直线距离、求平均误差等函数。
3.1 程序总流程
整个程序流程主要包括以下几个步骤：
（1）定义相关arraylist数组和file对象，其中arraylist数组对象有三个，分别是原始经纬度坐标数组pgpsarryinit、过滤后的点坐标数组pgpsarrayfilter、过滤并排序后的点坐标数组pgpsarrayfiltersort；file文件对象共有五个，分别是原始数据文件对象fgps、压缩后的结果数据文件对象ogps、保持转换后的原始经纬度坐标点的数据文件finitgpspoint、仿真测试文件ftestinitpoint和ftestfilterpoint。
（2）获取原始点坐标并将其写入到文件中，主要包括读文件和写文件两种操作；
（3）进行轨迹压缩；
（4）对压缩后的经纬度点坐标进行排序；
（5）生成仿真测试文件，并用r语言工具进行图形绘制，得到最终的结果；
（6）求平均误差和压缩率，平均误差通过函数求得，压缩率直接计算获得；
（7）将最终结果写入结果文件中，包括过滤后的点的id，点的个数、平均误差和压缩率；
3.2 具体实现代码
（1）enpoint.java
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
package cc.xidian.main;import java.text.decimalformat;/*** created by hadoop on 2015/12/20.*/public class enpoint implements comparable<enpoint>{public int id;//点idpublic double pe;//经度public double pn;//维度public enpoint(){}//空构造函数public string tostring(){ //decimalformat df = new decimalformat("0.000000"); return this.id+"#"+this.pn+","+this.pe;}public string getteststring(){ decimalformat df = new decimalformat("0.000000"); return df.format(this.pn)+","+df.format(this.pe);}public string getresultstring(){ decimalformat df = new decimalformat("0.000000"); return this.id+"#"+df.format(this.pn)+","+df.format(this.pe);}@overridepublic int compareto(enpoint other) { if(this.id<other.id) return -1; else if(this.id>other.id) return1; else return0;}} |
（2）trajectorycompressionmain.java
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
|
package cc.xidian.main;import java.io.*;import java.text.decimalformat;import java.util.*;import java.util.list;/*** created by hadoop on 2015/12/19.*/public class trajectorycompressionmain{ public static void main(string[] args)throws exception{ //-----------------------1、相关arraylist数组和file对象的声明和定义-------------------------------------------------// arraylist<enpoint> pgpsarrayinit = new arraylist<enpoint>(); //原纪录经纬度坐标数组 arraylist<enpoint> pgpsarrayfilter = new arraylist<enpoint>(); //过滤后的经纬度坐标数组 arraylist<enpoint> pgpsarrayfiltersort = new arraylist<enpoint>(); //过滤并排序后的经纬度坐标数组 file fgps = new file("2007-10-14-gps.log"); //原始数据文件对象 file ogps = new file("2015-12-25-gps-result.log"); //过滤后的结果数据文件对象 //保持转换成度后的原始经纬度数据文件，保持格式为“id#经纬值，纬度值”，其中经度和维度单位为度，并保留小数点后6位数字 file finitgpspoint = new file("2007-10-14-gps-enpoint.log"); //保持转换后的原始经纬度坐标点的数据文件 file ftestinitpoint = new file("2007-10-14-gps-inittestpoint.log"); //用于仿真的原始经纬度坐标点数据文件 file ftestfilterpoint = new file("2015-12-25-gps-filtertestpoint.log"); //用于仿真的过滤后的经纬度坐标点数据文件 //-------------------------2、获取原始点坐标并将其写入到文件中-------------------------------------------------------// pgpsarrayinit = getenpointfromfile(fgps); //从原始数据文件中获取转换后的经纬度坐标点数据，存放到arraylist数组中 writeinitpointtofile(finitgpspoint, pgpsarrayinit); //将转换后的原始经纬度点数据写入文件中 system.out.println(pgpsarrayinit.size()); //输出原始经纬度点坐标的个数 //-------------------------3、进行轨迹压缩-----------------------------------------------------------------------// double dmax = 30.0; //设定最大距离误差阈值 pgpsarrayfilter.add(pgpsarrayinit.get(0)); //获取第一个原始经纬度点坐标并添加到过滤后的数组中 pgpsarrayfilter.add(pgpsarrayinit.get(pgpsarrayinit.size()-1)); //获取最后一个原始经纬度点坐标并添加到过滤后的数组中 enpoint[] enpinit = new enpoint[pgpsarrayinit.size()]; //使用一个点数组接收所有的点坐标，用于后面的压缩 iterator<enpoint> iinit = pgpsarrayinit.iterator(); int jj=0; while(iinit.hasnext()){ enpinit[jj] = iinit.next(); jj++; } //将arraylist中的点坐标拷贝到点数组中 int start = 0; //起始下标 int end = pgpsarrayinit.size()-1; //结束下标 trajcompressc(enpinit,pgpsarrayfilter,start,end,dmax); //dp压缩算法 system.out.println(pgpsarrayfilter.size()); //输出压缩后的点数 //-------------------------4、对压缩后的经纬度点坐标数据按照id从小到大排序---------------------------------------------// enpoint[] enpfilter = new enpoint[pgpsarrayfilter.size()]; //使用一个点数组接收过滤后的点坐标，用于后面的排序 iterator<enpoint> if = pgpsarrayfilter.iterator(); int i = 0; while(if.hasnext()){ enpfilter[i] = if.next(); i++; } //将arraylist中的点坐标拷贝到点数组中 arrays.sort(enpfilter); //进行排序 for (int j=0;j<enpfilter.length;j++){ pgpsarrayfiltersort.add(enpfilter[j]); //将排序后的点坐标写到一个新的arraylist数组中 } //-------------------------5、生成仿真测试文件--------------------------------------------------------------------// writetestpointtofile(ftestinitpoint,pgpsarrayinit); //将原始经纬度数据点写入仿真文件中，格式为“经度，维度” writetestpointtofile(ftestfilterpoint, pgpsarrayfiltersort); //将过滤后的经纬度数据点写入仿真文件中，格式为“经度，维度” //-------------------------6、求平均误差-------------------------------------------------------------------------// double mderror = getmeandisterror(pgpsarrayinit,pgpsarrayfiltersort); //求平均误差 system.out.println(mderror); //-------------------------7、求压缩率--------------------------------------------------------------------------// double crate = (double)pgpsarrayfilter.size()/pgpsarrayinit.size()*100; //求压缩率 system.out.println(crate); //-------------------------8、生成最终结果文件--------------------------------------------------------------------// //将最终结果写入结果文件中，包括过滤后的点的id，点的个数、平均误差和压缩率 writefilterpointtofile(ogps,pgpsarrayfiltersort,mderror,crate); //------------------------------------------------------------------------------------------------------------// } /***函数功能：从源文件中读出所以记录中的经纬度坐标，并存入到arraylist数组中，并将其返回* @param fgps：源数据文件* @return pgpsarrayinit：返回保存所有点坐标的arraylist数组* @throws exception*/ public static arraylist<enpoint> getenpointfromfile(file fgps)throws exception{ arraylist<enpoint> pgpsarray = new arraylist<enpoint>(); if(fgps.exists()&&fgps.isfile()){ inputstreamreader read = new inputstreamreader(new fileinputstream(fgps)); bufferedreader breader = new bufferedreader(read); string str; string[] strgps; int i = 0; while((str = breader.readline())!=null){ strgps = str.split(" "); enpoint p = new enpoint(); p.id = i; i++; p.pe = (dftodu(strgps[3])); p.pn = (dftodu(strgps[5])); pgpsarray.add(p); } breader.close(); } return pgpsarray; } /*** 函数功能：将过滤后的点的经纬度坐标、平均距离误差、压缩率写到结果文件中* @param outgpsfile：结果文件* @param pgpspointfilter：过滤后的点* @param mderror：平均距离误差* @param crate：压缩率* @throws exception*/ public static void writefilterpointtofile(file outgpsfile,arraylist<enpoint> pgpspointfilter, double mderror,double crate)throws exception{ iterator<enpoint> ifilter = pgpspointfilter.iterator(); randomaccessfile rfilter = new randomaccessfile(outgpsfile,"rw"); while(ifilter.hasnext()){ enpoint p = ifilter.next(); string sfilter = p.getresultstring()+"\n"; byte[] bfilter = sfilter.getbytes(); rfilter.write(bfilter); } string strmc = "#"+integer.tostring(pgpspointfilter.size())+","+ double.tostring(mderror)+","+double.tostring(crate)+"%"+"#"+"\n"; byte[] bmc = strmc.getbytes(); rfilter.write(bmc); rfilter.close(); } /*** 函数功能：将转换后的原始经纬度数据点存到文件中* @param outgpsfile* @param pgpspointfilter* @throws exception*/ public static void writeinitpointtofile(file outgpsfile,arraylist<enpoint> pgpspointfilter)throws exception{ iterator<enpoint> ifilter = pgpspointfilter.iterator(); randomaccessfile rfilter = new randomaccessfile(outgpsfile,"rw"); while(ifilter.hasnext()){ enpoint p = ifilter.next(); string sfilter = p.tostring()+"\n"; byte[] bfilter = sfilter.getbytes(); rfilter.write(bfilter); } rfilter.close(); } /*** 函数功能：将数组中的经纬度点坐标数据写入测试文件中，用于可视化测试* @param outgpsfile：文件对象* @param pgpspointfilter：点数组* @throws exception*/ public static void writetestpointtofile(file outgpsfile,arraylist<enpoint> pgpspointfilter)throws exception{ iterator<enpoint> ifilter = pgpspointfilter.iterator(); randomaccessfile rfilter = new randomaccessfile(outgpsfile,"rw"); while(ifilter.hasnext()){ enpoint p = ifilter.next(); string sfilter = p.getteststring()+"\n"; byte[] bfilter = sfilter.getbytes(); rfilter.write(bfilter); } rfilter.close(); } /*** 函数功能：将原始经纬度坐标数据转换成度* @param str：原始经纬度坐标* @return ：返回对于的度数据*/ public static double dftodu(string str){ int indexd = str.indexof(‘.‘); string strm = str.substring(0,indexd-2); string strn = str.substring(indexd-2); double d = double.parsedouble(strm)+double.parsedouble(strn)/60; return d; } /*** 函数功能：保留一个double数的小数点后六位* @param d：原始double数* @return 返回转换后的double数*/ public static double getpointsix(double d){ decimalformat df = new decimalformat("0.000000"); return double.parsedouble(df.format(d)); } /*** 函数功能：使用三角形面积（使用海伦公式求得）相等方法计算点px到点pa和pb所确定的直线的距离* @param pa：起始点* @param pb：结束点* @param px：第三个点* @return distance：点px到pa和pb所在直线的距离*/ public static double disttosegment(enpoint pa,enpoint pb,enpoint px){ double a = math.abs(geodist(pa, pb)); double b = math.abs(geodist(pa, px)); double c = math.abs(geodist(pb, px)); double p = (a+b+c)/2.0; double s = math.sqrt(math.abs(p*(p-a)*(p-b)*(p-c))); double d = s*2.0/a; return d; } /*** 函数功能：用老师给的看不懂的方法求两个经纬度点之间的距离* @param pa：起始点* @param pb：结束点* @return distance：距离*/ public static double geodist(enpoint pa,enpoint pb) { double radlat1 = rad(pa.pn); double radlat2 = rad(pb.pn); double delta_lon = rad(pb.pe - pa.pe); double top_1 = math.cos(radlat2) * math.sin(delta_lon); double top_2 = math.cos(radlat1) * math.sin(radlat2) - math.sin(radlat1) * math.cos(radlat2) * math.cos(delta_lon); double top = math.sqrt(top_1 * top_1 + top_2 * top_2); double bottom = math.sin(radlat1) * math.sin(radlat2) + math.cos(radlat1) * math.cos(radlat2) * math.cos(delta_lon); double delta_sigma = math.atan2(top, bottom); double distance = delta_sigma * 6378137.0; return distance; } /*** 函数功能：角度转弧度* @param d：角度* @return 返回的是弧度*/ public static double rad(double d) { return d * math.pi / 180.0; } /*** 函数功能：根据最大距离限制，采用dp方法递归的对原始轨迹进行采样，得到压缩后的轨迹* @param enpinit：原始经纬度坐标点数组* @param enparrayfilter：保持过滤后的点坐标数组* @param start：起始下标* @param end：终点下标* @param dmax：预先指定好的最大距离误差*/ public static void trajcompressc(enpoint[] enpinit,arraylist<enpoint> enparrayfilter, int start,int end,double dmax){ if(start < end){ //递归进行的条件 double maxdist = 0; //最大距离 int cur_pt = 0; //当前下标 for (int i=start+1;i<end;i++){ double curdist = disttosegment(enpinit[start],enpinit[end],enpinit[i]); //当前点到对应线段的距离 if(curdist > maxdist){ maxdist = curdist; cur_pt = i; } //求出最大距离及最大距离对应点的下标 } //若当前最大距离大于最大距离误差 if(maxdist >= dmax){ enparrayfilter.add(enpinit[cur_pt]); //将当前点加入到过滤数组中 //将原来的线段以当前点为中心拆成两段，分别进行递归处理 trajcompressc(enpinit,enparrayfilter,start,cur_pt,dmax); trajcompressc(enpinit,enparrayfilter,cur_pt,end,dmax); } } } /*** 函数功能：求平均距离误差* @param pgpsarrayinit：原始数据点坐标* @param pgpsarrayfiltersort：过滤后的数据点坐标* @return ：返回平均距离*/ public static double getmeandisterror( arraylist<enpoint> pgpsarrayinit,arraylist<enpoint> pgpsarrayfiltersort){ double sumdist = 0.0; for (int i=1;i<pgpsarrayfiltersort.size();i++){ int start = pgpsarrayfiltersort.get(i-1).id; int end = pgpsarrayfiltersort.get(i).id; for (int j=start+1;j<end;j++){ sumdist += disttosegment( pgpsarrayinit.get(start),pgpsarrayinit.get(end),pgpsarrayinit.get(j)); } } double meandist = sumdist/(pgpsarrayinit.size()); return meandist; }} |
第四部分 程序结果
4.1 程序输出结果
压缩后的结果：
（1）总点数：140个点；（2）平均距离误差：7.943786；（3）压缩率：4.4444%
4.2 仿真结果
经过轨迹压缩，我们将原始经纬度坐标点转换为压缩过滤后的经纬度坐标点，我们将这两种点坐标数据分别写入两个文件中，然后根据这两个文件使用r语言进行图形绘制，分别画出压缩前和压缩后的轨迹 ，进行对比，根据对比结果就可以看出我们轨迹压缩算法是否有效，最终对比结果如图4.1所示：
第五部分 总结
本程序编写过程中，遇到了各种各样的问题，也学到了很多编程经验，下面就遇到的问题及解决方案做一个总结，最后对程序存在的不足提出改进建议。
5.1 遇到的问题及解决方案
问题1：经纬度坐标顺序问题
解决：距离公式中的参数是纬度在前经度在后，需要调整下经纬度坐标点的顺序。
问题2：距离不能为负值
解决：保证求出的距离不能为负值，加绝对值函数即可。
问题3：dp算法实现细节
解决：开始使用arraylist数组解决下标问题，递归求解时出现巨大误差，后来改用普通数组下标进行递归，结果好多了。
5.2 存在的不足与展望
（1）进行轨迹压缩时，dp算法是最简单的一种算法，并不是最优的，可选用一些效果好的算法再次进行轨迹压缩；
（2）本次实验数据的记录为3150条，数据量不算大，如果有10亿条数据，该怎么办呢？我们可以从硬件、分布式、数据预处理、数据切分、性能好的数据仓库等方面考虑。
以上就是本文关于java编程实现轨迹压缩之douglas-peucker算法详细代码的全部内容，希望对大家有所帮助。如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！
原文链接：http://www.mamicode.com/info-detail-1170156.html
